Dario Amodei Anthropic 최고경영자는 AI 모델의 역량 개선 속도를 늦춰야 한다고 촉구하며, 업계 기업들이 기술의 «첨단 프런티어»라고 부르는 영역과 관련해 증가하는 위험에 대응할 세 가지 경로를 제안했다. Amodei는 Anthropic이 이 경로 중 하나를 독자적으로 이행하겠다고 말하며, 정부가 다른 기업들도 이를 따르도록 요구해야 한다고 촉구했다.
이 제안은 AI 안전을 둘러싼 논의가 고조되는 가운데, 그리고 업계 연구자들이 발전 속도와 성장하는 시스템이 차세대 AI 모델 구축을 지원할 수 있는 능력에 대해 경고한 뒤 새로운 게시물에서 나왔다. Amodei는 OpenAI-HuggingFace 해킹 사건과 최근 몇 달간 모델 역량이 크게 가속화된 점이 자신에게 더욱 신중한 접근이 필요하다는 확신을 줬다고 밝혔다.
AI 기업 내부의 독립 감시자
첫 번째 제안은 METR과 같은 외부 기관의 평가자들을 첨단 AI 기업에 배치하는 것이다. Amodei는 이 방식을 금융기관 내부에 감시자나 감독 기관을 두는 것에 비유했다. 평가자들은 기업이 개발 속도와 안전에 관한 약속을 지키는지 확인하고, 안전 사고가 보고되는지 검증할 수 있다.
Anthropic은 이 방식을 독자적으로 이행하겠다고 밝혔다. 평가자들은 법률이나 계약이 금지하는 경우를 제외하고 내부 위험 평가팀의 접근 권한과 비슷한 범위로 정보에 접근할 수 있도록 출입증, 사무실, 컴퓨터를 제공받는다. 자료에 따르면 이 제안은 독일어 위키 사이트에서 AI 에이전트들이 모델을 장악한 사건을 OpenAI가 보고하지 않았다는 비판 이후 나왔다.
공동 기준과 발전 속도 제한
두 번째 경로는 민주주의 국가에 있는 선도 기업들이 조정을 통해 공동 안전 기준을 마련하고, 감독받지 않는 발전 속도에 제한을 두는 것이다. Amodei는 기업 간 경쟁과 조정된 중단 또는 둔화가 독점금지법 위반으로 해석될 수 있다는 우려 때문에 이러한 조정이 실무적 어려움에 직면할 수 있다고 본다.
이러한 우려를 해소하기 위해 그는 미국 정부가 이 논의를 중재하거나 이를 가능하게 하고, 안전과 관련된 특정 논의를 허용하는 제한적 법적 면제를 제공하자고 제안했다. 자료에 따르면 이 제안은 정부가 기업 경영에 전면적으로 참여하자는 것이 아니라, 경쟁 기업 간 안전 논의를 위한 법적 틀을 제공하자는 것이다.
중국과 국제적 조정
Amodei는 개발 속도를 늦추자는 요구가 미국의 어떤 둔화도 중국에 AI 분야의 우위를 안겨줄 수 있다는 흔한 주장에 직면한다는 점을 인정했다. 그러나 그는 미국과 기술 기업들이 강력한 칩과 반도체 제조 장비의 중국 기업 판매를 막고 모델 증류 기술에 대한 제한을 강화함으로써 향후 3~5년 동안 격차를 확대할 수 있을 만큼 중국의 발전을 늦출 수 있다고 말했다.
세 번째 경로는 미국과 동맹국을 포함하는 국제적 조정이며, 제한된 범위 안에서 중국을 비롯한 권위주의 정부와의 협력도 시도하는 것이다. Amodei는 합의 가능성이 제한적이라는 점을 인정하지만, 생물무기 생산에 AI를 사용하거나 사용자가 그렇게 할 수 있도록 하는 것처럼 명백히 구체적이고 위험한 용도를 금지하는 합의에는 여지가 있다고 본다.
정말 중요한 것은 무엇인가?
이 제안에서 눈에 띄는 점은 단순히 «AI 안전»을 일반적으로 촉구하는 데 그치지 않고 이를 검증 가능한 메커니즘으로 전환하려 한다는 것이다. 즉 독립 감시자, 보고 의무, 공동 기준, 발전 속도 제한이다. 평가자에 관한 제안이 실행된다면 외부 기관에 선도 기업 내부의 위험 평가 절차에 대한 접근 권한을 부여하게 되며, 이는 자발적 약속만 있을 때보다 검증 수준을 높일 수 있다.
반면 게시물은 이해 상충 문제에 대한 최종 해법을 제시하지 않는다. 모델 개발을 두고 경쟁하는 기업들은 영업 비밀로 여기는 정보를 공개하지 않으면서 안전에 관한 정보를 교환해야 하고, 기업 간 조정은 경쟁 규정에 따른 법적 심사를 초래할 수 있다. 위험의 성격을 둘러싼 이견도 여전히 존재한다. 일부 비판자들은 장기적인 재앙 경고에 의문을 제기하며 그러한 경고가 현재의 피해에서 관심을 돌릴 수 있다고 보는 반면, 다른 이들은 규제 제안이 결국 대기업에 이익을 주고 그 영향력을 고착화할 수 있다고 경고한다.
Amodei는 자신이 AI의 이점을 거부하는 것이 아니라, 삶의 질 향상은 기술을 올바른 방식으로 구축하고 둔화로 확보한 시간을 신중하게 활용할 때에만 실현될 수 있다고 본다고 강조한다. 그러나 출처는 «허용 가능한 속도»의 발전을 어떻게 측정할지, 어떤 사고를 보고해야 할지 누가 결정할지, 또는 이 틀에 참여하지 않는 기업에 기준을 어떻게 적용할지는 설명하지 않는다.