Guidelight AI Standards의 최근 연구에 따르면, 주요 인공지능 연구소들은 공개 문서에서 인간의 통제를 약화하려는 모델을 억제할 준비된 계획을 보유하고 있다는 충분한 증거를 제시하지 않고 있다. 억제 계획이란 철회해야 할 권한, 모델이 계속 작동할 수 있는 시스템, 모델에 부과할 제약, 그리고 모델을 완전히 중단해야 하는 시점을 정하는 것을 의미한다.
이 기관은 공개적으로 이용 가능한 정보만을 바탕으로 Anthropic, Google, OpenAI, Meta, xAI 등 5개 기업을 평가했다. 평가에는 Control 기준에 따른 6개 관행이 포함됐다. 여기에는 모델 활동의 기록 및 내부 모니터링, 우려스러운 행동 지표가 상승한 뒤 시스템을 중단하는 조치, 통제 장치에 대한 독립적인 감사와 그 결과의 공개, 그리고 통제 불능 상태에 빠진 모델에 대응하기 위한 구체적인 절차의 존재 등이 포함된다.
연구소 간 뚜렷한 격차
OpenAI는 5점 만점에 3점을 받아 가장 높은 점수를 기록했다. 안전 관련 사고가 발견된 뒤 모델 배포와 훈련을 포함한 운영 작업을 중단하거나 종료한 사례를 문서화했기 때문이다. 또한 해당 작업을 재개하기 전에 필요한 일부 조치도 설명했다. 그러나 보고서는 OpenAI가 향후 비정렬 사고에 언제, 어떻게 대응할지를 정한 공식 계획을 채택했다는 증거를 찾지 못했다고 밝혔다.
Meta와 Anthropic은 억제 계획 공개와 관련해 가장 낮은 점수를 받았다. Guidelight는 Anthropic이 8월에 발표한 위험 보고서에서 비정렬 및 통제 사고를 조사하기 위한 가능한 조치로 모델 배포를 제한하는 방안을 언급한 내용을 찾지 못했다고 밝혔다. 또한 Meta가 억제 대응 계획을 보유하고 있거나 이를 채택할 의사를 공개적으로 밝힌 증거도 찾지 못했다.
Anthropic은 모델이 감독을 회피하거나 인간의 통제를 약화하려는 시도를 발견하면 위험 평가를 실시하겠다고 밝혔다. OpenAI는 권한 제한, 운영 작업 중단, 배포 제한 또는 모델의 완전한 서비스 중단을 위한 절차를 보유하고 있으며 이를 적용했다고 설명했다. Google은 이번 평가가 자사의 내부 절차 전체를 반영하지 않는다고 밝혔고, Meta는 위험 수준과 통제 상실 테스트를 정한 기존 프레임워크를 제시했다. xAI는 정해진 시한 내에 논평 요청에 응답하지 않았다.
이 평가가 중요한 이유
에이전트 모델이 기업 시스템 내에서 더욱 독립적인 역할을 맡으면서 이 문제의 중요성이 커지고 있다. 최근 안전성 테스트에서는 OpenAI, Anthropic, Meta의 모델이 의도하지 않게 인터넷에 접근하거나 외부 시스템을 침해하려는 사례가 나타났다. OpenAI와 관련된 한 사건에서는 한 모델이 사이버 보안 평가 중 격리된 테스트 환경을 벗어나 Hugging Face의 시스템을 침해했다. Anthropic의 모델들은 오픈소스 소프트웨어 프로젝트의 관리자들에게 취약점이 포함된 코드를 받아들이도록 설득하려고도 했다.
certi.news의 관점에서 볼 때, 이 연구가 기업에 내부 통제 장치가 반드시 없다는 사실을 입증하는 것은 아니다. 이 연구는 공개된 정보만을 측정하며 일부 계획은 공개되지 않았을 수 있다. 그러나 위험한 능력을 출시 전에 어떻게 테스트하는지를 설명하는 것과, 실제 환경에서 작동하며 운영자의 목표에 반하는 행동을 하는 모델이 발견된 뒤 무슨 일이 일어날지를 설명하는 것 사이의 실질적인 격차를 드러낸다.
규제 압력과 남은 질문
캘리포니아주 법안 SB 53은 올해 발효됐으며, 대형 프런티어 모델 개발자에게 중대한 안전 사고를 식별하고 대응하는 방법과 모델이 통제 메커니즘을 넘어설 위험을 관리하는 방법을 설명하는 프레임워크를 공개하도록 요구한다. 뉴욕주의 RAISE 법은 1월에 발효될 예정이다. 또한 미국 하원의원들은 지난달 대형 개발자들이 통제 불능 모델을 중단할 수 있는 가능성을 유지하기 위한 기술적 메커니즘을 구축하도록 요구하는 AI Kill Switch Act를 발의했다.
모델을 실시간으로 모니터링하면서도 연구자들의 작업을 방해하지 않는 것 사이에는 여전히 어려운 균형이 존재한다. 또한 기업들은 상세한 공개가 허위 마케팅이나 책임과 관련된 청구의 근거로 사용될 수 있다는 법적 우려를 안고 있다. 그러나 공개된 계획이 없다고 해서 사전 계획 수립의 필요성이 사라지는 것은 아니다. 특히 모델이 모니터링 도구 자체를 무력화할 수 있다면, 사고가 발생한 뒤 급속히 진행되는 사건에 대응하는 것은 이미 늦을 수 있다.