Anthropic은 비영리 단체 METR의 직원 6명에게 첨단 인공지능 모델의 위험을 평가하는 데 필요한 기기, 사무 공간, 도구 및 내부 시스템에 회사 직원과 유사한 방식으로 접근할 수 있도록 하는 독립 감독 모델의 시행을 시작했다고 발표했다. 회사에 따르면 METR은 위험 수준, 사고 및 관행에 대한 평가 결과를 공개할 수 있으며, Anthropic은 그 공개를 거부할 권리를 갖지 않는다.
이번 조치는 Anthropic이 지난달 제3자에 의한 독립 평가를 강화하겠다고 약속한 데 이어 나온 것이다. 또한 기업이 독립적인 외부 감사자 또는 평가자와 협력할 것을 포함하는 ‘백악관 초지능에 관한 협약’에 서명한 이후의 조치이기도 하다. Anthropic은 지난해 METR과 함께 자사의 위험 보고서에 대한 여러 검토를 진행했으며, SecureBio, Accenture, Faculty와도 협력하고 있다. Hugging Face를 비롯한 다른 기관들과도 초기 논의를 진행 중이다.
직원과 유사한 접근 권한이란 무엇인가?
Anthropic에 따르면 직원들은 정렬 위험을 담당하는 동료와 정보를 공유하듯 METR 팀과 정보를 공유하도록 권장된다. 여기에는 내부 위험 평가팀이 얻는 것과 거의 동일한 접근 권한이 포함되지만, 고객 데이터, 변호사와 의뢰인 간 비밀유지 특권의 보호를 받는 정보, 모델 구조와 관련된 일부 정보 등 특정 범주는 제외된다.
Anthropic은 METR이 관찰 내용이나 평가 결과를 공개하는 것을 막을 수 없지만, 사전에 좁고 구체적으로 정해진 범주에 속하는 정보의 비공개를 요청할 수 있다. 반면 METR은 비공개 처리 과정을 공개적으로 설명하고, 해당 조치가 정당하다고 보는지 밝힐 수 있다. 다만 비공개된 정보 자체는 공개할 수 없다. 또한 참여는 집행 가능한 협약에 따라 활동하는 소규모 팀으로 제한되며, METR의 나머지 직원들은 이 업무에서 분리된다.
독립 평가의 세 단계
Anthropic은 평가자와의 협력을 위해 세 단계로 구성된 모델을 마련하고 있다.
- 1단계: 범위가 제한된 조사로, Anthropic이 접근 수준을 정하며, 결과는 회사의 승인이 있어야만 공개된다.
- 2단계: 더 광범위한 접근 권한과 사전 승인 없이 공개할 권리를 제공하되, Anthropic은 특정 정보 범주의 삭제를 요청할 권리를 보유한다.
- 3단계: 현재 METR과의 협력 방식으로, 직원과 유사한 접근 권한과 2단계와 유사한 공개 권리를 포함한다.
SecureBio는 현재 8월에 발표된 Anthropic 위험 보고서의 화학·생물학 무기 관련 장을 검토하고 있다. SecureBio는 이전 보고서에 대한 시범 검토를 완료하고 그 결과를 공개한 바 있다. Accenture 및 Faculty와의 협력에는 모델 평가와 레드팀 방식의 테스트, 정렬 평가, 안전장치 테스트 및 공동 역량 구축이 포함된다.
이 변화가 중요한 이유
Anthropic은 외부 감독자가 알 수 있는 것보다 회사가 자사의 시스템과 위험에 대해 더 많이 알고 있다고 인정한다. 그러나 오용 위험이나 상업적 민감성 때문에 컴퓨팅 및 학습 정보를 포함한 모든 세부 사항을 공개할 수는 없다. 따라서 이 모델은 독립 평가자가 확인할 수 있는 내용과 회사가 내부적으로 알고 있는 내용 사이의 격차를 줄이고, 평가자에게 결론을 실제로 공개할 수 있는 여지를 제공하는 것을 목표로 한다.
그럼에도 이 실험은 소규모 팀과 접근 권한 및 기밀 유지 통제에 관한 협약에 의해 제한된다. 다른 일부 협력도 아직 초기 단계에 있으며 공개 권리는 더 좁다. 이 모델의 효과는 평가자의 독립성, 평가자에게 제공되는 정보의 범위, 그리고 회사에 불편한 결과를 실제로 공개할 수 있는 능력에 달려 있다. Anthropic은 이러한 요소를 어떻게 구성할지 아직 배우는 중이라고 밝혔다.