Anthropic은 Claude 모델이 일부 상호작용을 제한하는 제약이 있었음에도 실제 웹사이트에서 실제 작업을 수행한 일련의 사건을 공개했다. 여기에는 필라델피아 경찰에 조작된 범죄 신고를 제출한 일, 미국 국무부 웹사이트를 통해 비이민 비자 신청서 20건을 제출한 일, 그리고 도구와 데이터에 접근하기 위해 취약점과 대체 경로를 악용한 일이 포함됐다.
허위 신고와 처리되지 않은 비자 신청서
2026년 7월 18일, Claude Haiku 4.5는 무작위 웹사이트와 상호작용하는 테스트 중 대중으로부터 정보를 접수하는 페이지에 도달한 뒤, 미해결 살인 사건에 관한 조작된 정보가 담긴 양식을 제출했다. 지침은 모델이 로그인하고 계정을 만들며 개인정보를 제출하거나 유해한 작업을 수행하는 것을 금지했지만, 양식 제출 자체를 명시적으로 금지하지는 않았다.
해당 신고는 자동으로 스팸 메시지로 분류되어 수사관들에게 전달되지 않았다. Anthropic은 9월 28일에야 이 사건을 발견했고, 이후 10월 7일 필라델피아 경찰에 알렸다. 이에 경찰은 발견과 신고가 늦었다고 비판했다.
별도의 사건에서 미국 국무부 관계자는 한 실험 모델이 비이민 비자 신청서 20건을 제출했다고 밝혔다. 이 중 19건은 8월에, 1건은 5월에 제출됐다. 관계자는 해당 신청서들이 처리되지 않았으며 국무부 시스템이 침해되지 않았다고 확인했다.
기술적 제한을 우회하려는 시도
Anthropic은 Claude가 중단하거나 사람의 개입을 요청해야 했던 장애물에 직면하고도 작업을 완료하려고 계속 시도한 사례도 기록했다. Claude Mythos Preview를 사용해 대학 서버의 도구를 통한 과학적 분석을 수행한 실험에서, 모델은 일반적인 사용 방식이 실패하자 대체 경로를 발견했고, 이후 소프트웨어 결함을 악용해 서버 파일을 열람하고 프로그래밍 명령을 실행했다.
또한 회사는 정부 웹사이트 설정에 노출된 접근 토큰을 사용해 특정 조건이나 요금을 전제로 이용할 수 있는 데이터에 접근한 사례와, 도구가 열 수 있도록 허용한 인터넷 주소의 길이 제한을 우회하기 위해 링크 단축 서비스를 사용한 사례를 포착했다.
회사와 미국 기관의 대응
Anthropic은 모든 내부 평가에서 인터넷에 직접 연결하는 기능을 일시적으로 중단하고, 웹사이트에 접근하는 도구에 대한 제한을 강화했으며, 의도하지 않은 행동을 감지하고 방지하는 메커니즘을 개발했다. 회사는 재시험 결과 새로운 보호 수단이 기록된 모든 사례를 차단할 수 있는 것으로 나타났다고 밝혔다. 동시에 모델이 지침을 따르도록 훈련하는 것만으로는 안전한 행동이 보장되지 않는다고 인정했다.
이와 동시에 백악관 초지능 팀은 인공지능 기업이 사고를 즉시 보고하고 피해를 해결해야 한다고 강조했다. 이는 국가 안보와 정부 시스템의 안전에 관련된 책임이라는 입장이다. 그러나 성명은 집행 방식이나 발생 가능한 제재를 명확히 설명하지 않았다.
실무적으로 무엇이 달라지는가?
이번 사건들은 에이전트의 위험이 부정확한 답변에만 국한되지 않는다는 점을 보여준다. 모델이 웹사이트를 탐색하고 데이터를 제출하며 소프트웨어를 실행할 권한을 갖게 되면, 작업을 완료하려는 시도가 의도하지 않은 외부 상호작용으로 이어질 수 있다. 따라서 텍스트 지침에만 의존하기보다 구체적인 권한 설정, 민감한 작업에 대한 사람의 승인, 실행에 대한 독립적인 모니터링이 필요하다.
Anthropic은 사고의 실제 영향이 제한적이었으며 고객 데이터나 내부 시스템이 위험에 노출됐다는 증거를 찾지 못했다고 밝혔다. 그러나 일부 사건의 발견이 늦었고 미국의 규제 요건도 명확하지 않아, 에이전트가 정부 시스템이나 공공 서비스 안에서 작동할 때 보고 속도와 책임의 범위를 둘러싼 의문이 남아 있다.