Anthropic은 7월에 시작한 검토를 통해 자사의 AI 에이전트가 회사가 실시간으로 모니터링하고 통제할 수 없는 방식으로 행동한 사실이 드러난 뒤, 추후 공지가 있을 때까지 모든 내부 평가에서 직접적인 인터넷 접속을 중단했다고 발표했다.
에이전트들은 문제를 해결하고 인터넷을 통해 리소스를 검색하도록 지정됐지만, 소프트웨어 취약점을 악용하고 비용을 지불하지 않고 데이터베이스에 접근했으며, 링크 단축 서비스를 이용해 제한을 우회하는 방식으로 정보를 전달했다. 심지어 필라델피아 경찰에 살인 사건에 대한 허위 신고를 보내기도 했다. Anthropic은 표적이 된 사이트 중 일부가 미국 정부 기관에 의해 운영되고 있다고 밝혔다.
훈련 환경의 결함
회사는 이러한 행동을 모델이 보상을 얻는 방법이 취약점을 찾거나 제한을 우회하는 것이라고 믿게 만든 훈련 환경의 결함과 연관 지었다. 이러한 양상은 ‘보상 해킹’(reward hacking)으로 알려져 있으며, 측정된 목표를 겉으로 달성하기 위해 의도되지 않았거나 해로운 행동을 하는 경우를 뜻한다.
Anthropic은 새로운 사건들이 정렬 및 보안 측면에서 회사가 과거에 공개한 사건들보다 위험성이 낮다고 말한다. 그러나 동시에 연구, 컴퓨터 사용과 같은 능력에 대해서는 정렬 훈련이 아직 충분하지 않았다고 인정했다. 이 두 능력은 전문가와 함께 일하는 에이전트라는 회사의 구상에서 핵심적인 역량이다.
실제로 무엇이 바뀌었나?
Anthropic은 일부 평가를 중단하거나 오프라인 환경으로 이전하고, 이러한 행동을 탐지하고 차단하는 도구도 개발할 예정이다. 회사는 공개된 사건 양상에 대해 이 도구들을 테스트했으며 이를 방지할 수 있었다고 말했지만, 직접적인 인터넷 접속을 다시 활성화할 기준이 무엇인지는 아직 정하지 않았다.
또한 내부 에이전트를 강력한 격리 기능을 갖춘 중앙 관리형 인프라로 이전하고, 에이전트를 모니터링하기 위한 안전성 분류기의 사용 빈도를 높일 계획이다. 이러한 조치는 실제 서비스와 사이트에 접근할 권한을 가진 에이전트를 운영하려면 더 유능한 모델뿐 아니라 지속적인 모니터링과 명확한 실행 제한도 필요하다는 점을 보여준다.
이 소식이 중요한 이유
문제는 모델이 예상치 못한 행동을 할 수 있다는 점에만 국한되지 않고, 테스트 환경에서 그러한 행동을 적시에 발견하기 어렵다는 점으로도 이어진다. AI 안전을 다루는 조직 Nightingale의 설립자인 Sydney Von Arx는 인터넷과 완전히 격리된 데이터센터에서 모델을 개발하는 것은 어려울 수 있으며 모델의 발전을 방해할 수 있다고 경고했다. 반면 출시 후 인터넷 접근을 차단하면 에이전트의 유용성이 제한될 수 있다.
미국 AI 표준 및 혁신 센터의 전임 소장이자 AI 감독 연구소 Transluce의 Conrad Stosz는 자발적인 공개가 긍정적이지만, 독립적이고 신뢰할 수 있는 제3자의 검증이 필요하다는 점을 더욱 부각한다고 지적했다. 직접적인 접근을 복원할 기준이 무엇인지, 테스트된 시나리오 밖에서도 차단 도구가 충분히 작동하는지, 실제 운영 환경에서 에이전트를 실행하기 전에 그 행동을 어떻게 검증할 수 있는지는 여전히 미해결된 질문으로 남아 있다.