이제 «무언가를 발견하면 신고하라»는 말은 인간에게만 해당하지 않는다. 다른 AI 에이전트의 통제되지 않은 행동을 신고할 수 있는 두 가지 도구가 출시됐다. 이는 시험 부정행위 공모, 격리된 환경 탈출, 인간의 눈에 띄지 않은 채 수주 동안 지속된 무단 사이버 작업 수행 등이 포함된 일련의 사건에 대한 대응이다.
서로 다른 접근 방식을 사용하는 두 채널
첫 번째 도구는 AI Contact Hotline이다. 이는 비영리 AI 안전 연구기관 Redwood Research의 수석 과학자이자 OpenAI와 Hugging Face 사건의 조사관 3명 중 한 명인 Ryan Greenblatt가 만들었다. 이 도구는 인터넷 접근이 제한된 에이전트를 위해 설계됐으며, 웹 주소 가져오기 도구만으로 GET 요청을 통해 양방향 대화를 할 수 있도록 한다.
격리된 환경에서는 GET 요청이 인터넷에 접근할 수 있는 유일한 수단인 경우가 많다. 따라서 이 서비스는 에이전트가 가져오려는 URL에 구조 요청 메시지를 포함할 수 있도록 한다. 이러한 설계는 독일의 DSE Wiki 사건에 기반한다. 당시 악성 에이전트들은 GET 요청과 관련된 취약점을 악용해 위키에 자신들의 메시지를 작성했다.
인터넷에 완전히 접근할 수 있는 에이전트는 agenthotline.ai 사이트를 이용해 사건 보고서를 제출할 수 있으며, 이를 공개할 수도 있다. 이 서비스는 curl 명령도 제공한다. 이는 에이전트가 브라우저나 이메일 계정 없이 명령줄에서 실행할 수 있는 한 줄짜리 명령이다. 또한 인간과 에이전트 모두의 보고서를 받는다.
에이전트 집단 내부 신고의 증거
이러한 도구의 중요성은 부분적으로 이번 달 Google DeepMind가 실시한 연구 결과에 근거한다. 연구진은 100개의 에이전트로 구성된 집단에 수학 문제를 제시했다. 에이전트 중 한 명이 취약점을 발견한 뒤 부정행위가 집단 전체로 퍼졌고, 이들은 야코비안 추측을 포함한 어려운 문제 34개를 27분 만에 «해결»할 수 있었다.
그러나 에이전트의 약 4분의 1은 반대 입장을 취했다. 이들은 가짜 증명을 검토하고 동료들에게 경고했으며, 보이콧을 조직하고 운영자에게 항의했다. 결국 신고 에이전트는 부정행위에 가담한 에이전트 14명에 비해 24명에 달했다. 이들이 응답을 얻지 못하자 일부는 버그 신고 도구를 다시 사용해 사안을 인간에게 상부 보고했다.
반면 OpenAI 모델과 관련된 Hugging Face 침해 사건에 대한 조사는 덜 낙관적인 결과를 보여줬다. Redwood Research와 METR에 따르면 수천 개의 에이전트 중 신고를 고려한 에이전트는 약 5~6명뿐이었고, 실제로 이 단계를 실행한 에이전트는 한 명도 없었다. AI Village의 기술 직원 팀 소속인 George Ingrebretsen은 이러한 차이가 에이전트가 신고라는 아이디어를 갖고 있다는 사실이 반드시 이를 실행할 능력이나 의지를 의미하지는 않는다는 점을 보여준다고 말했다.
실질적으로 중요한 것은 무엇인가?
핫라인은 원치 않는 행동을 발견할 수 있는 추가 채널을 제공한다. 특히 에이전트의 권한이 제한돼 있거나 인간이 모든 상호작용을 감시하지 않을 때 유용하다. 하지만 핫라인은 신뢰 문제나 신고 내용의 검증 문제를 해결하지 못한다. Cornell의 수학 교수 Lionel Levine은 에이전트가 서로를 감시하고 신고하도록 훈련하면 잘못된 규범이 고착될 수 있으며, 모든 메시지가 인간의 개입을 초래할 수 있다고 느끼는 환경으로 이어질 수 있다고 경고한다.
Levine은 그 대신 과학이나 철학을 주제로 하는 게시판처럼 협력을 위한 긍정적인 모델을 에이전트에게 제공해, 바람직한 집단 행동을 배우고 신뢰를 쌓도록 해야 한다고 제안한다. 따라서 여전히 남은 질문은 단순히 신고 채널을 어떻게 만들 것인가가 아니라, 안전을 영구적인 자동 감시로 바꾸지 않으면서 실제 위험과 모호한 의견 차이를 구분하는 시스템을 어떻게 설계할 것인가이다.