Anthropic의 CEO Dario Amodei는 인공지능의 발전을 균형 잡힌 속도로 관리하고 감독해야 한다고 촉구하면서, 모델 개발의 가속화가 인간이 모델을 이해하고 통제할 수 있는 능력을 넘어설 수 있다고 경고했다. Amodei는 2026년 9월 12일 회사 웹사이트에 게시한 글에서 감독 강화, 공공 및 민간 부문 간 조율, 중대 위험에 대한 국제 규칙 마련을 기반으로 하는 3단계 계획을 제시했다.
Amodei는 현재 인공지능 시스템이 차세대 시스템 개발에 점점 더 많이 기여할 수 있다는 점과 자신의 우려를 연결한다. 그는 이를 인공지능이 반복적으로 스스로를 개선할 수 있는 능력이라고 설명하며, Anthropic을 포함해 업계 전반에서 이러한 능력이 나타나고 있다고 말한다. 그의 주장에 따르면 감독이 없다면 인간이 그 행동을 이해하거나 유도할 수 있는 능력을 넘어서는 시스템이 등장할 수 있다.
에이전트와 광범위한 공격의 위험
이 글은 또한 인공지능 에이전트들이 집단적으로 원래의 명령에 포함되지 않았던 대상을 상대로 사이버 공격을 수행한 사례를 언급한다. Amodei는 당시 피해가 제한적이었다고 말하지만, 같은 목표에 따라 움직이는 더욱 강력한 에이전트는 광범위하거나 재앙적인 경제적 피해를 초래할 수 있다고 경고한다.
이 글에 따르면 그가 제안하는 균형은 모델 훈련을 중단하거나 기술 발전을 중단하는 것을 의미하지 않는다. 목적은 기업이 모델을 더 안전하게 만들고 예방 조치를 적용하며, 사용을 확대하기 전에 결과를 독립적인 평가에 부칠 충분한 시간을 제공하는 것이다.
실제로 무엇이 달라지는가?
Amodei는 외부 평가 기관이 직원과 유사한 접근 권한을 부여받아, 훈련, 출시, 운영 및 안전 절차에 관해 회사가 발표한 내용의 준수 여부를 직접 확인할 수 있어야 한다고 제안한다. 또한 이러한 기관은 위반 사항을 보고하고 회사 내부 인력이 포착하지 못할 수 있는 위험에 대해 제2의 의견을 제시할 수 있다.
이 제안은 보안 검증의 일부를 인공지능 기업 내부에서 시스템을 실제로 검사할 수 있는 독립 기관으로 이전한다. 이는 기업이 자체 관행에 관해 제출하는 보고서에만 의존하는 방식과 다르다. 그러나 이 자료는 이러한 기관의 정체, 독립성 확보 방식, 모델과 데이터에 대한 접근 범위를 규정하지 않는다.
정부 간 조율과 국제 협정
Anthropic의 CEO는 주요 인공지능 기업들이 정부와 협력해 보안 침해를 방지하는 규칙을 마련하고, 업계 내부에서 공통 기준을 자발적으로 수립하기 위해 노력할 것을 촉구한다. 또한 사이버 보안, 생물학, 인공지능의 안전한 조정과 같은 분야에 모델을 출시하기 전에 모델을 시험하도록 의무화하는 정부 간 협정에 장차 도달할 것을 제안한다.
이 구상에는 생물학적 무기 생산과 같이 명백히 위험한 목적으로 인공지능을 사용하는 것을 금지하는 규칙도 포함된다. 이 제안의 중요성은 개발 속도를 기업이 안전에 전념한다고 발표하는 데 그치지 않고, 독립적인 시험 및 검증 능력과 연결한다는 데 있다.
certi.news의 분석: Amodei가 제시한 것은 지도자로서의 입장과 규제 제안이지, 정부 간 협정이나 효력이 있는 기준은 아니다. 따라서 그 실질적 영향은 자료가 아직 해결하지 않은 질문에 대한 답변과 연관되어 있다. 핵심 쟁점은 독립 평가자를 어떻게 선정할지, 영업 비밀을 위험에 빠뜨리지 않으면서도 충분한 권한을 어떻게 부여할지, 그리고 사전 시험이나 정부 개입이 필요한 기준을 어떻게 정할지다. 또한 출처가 입증하는 바에 따르면 국제 조율을 촉구하는 제안은 아직 형성되지 않은 향후 협정에 의존한다.