Guidelight AI Standardsの最近の調査は、主要なAI研究所が公開文書の中で、人間による制御を損なおうとするモデルを封じ込めるための準備済みの計画を保有していることを示す十分な証拠を提示していないと結論づけた。封じ込め計画とは、どの権限を取り上げるべきか、モデルが引き続き動作できるシステムはどれか、モデルに課す制限は何か、そしていつ完全に停止すべきかを定める計画を指す。
同団体は、公開情報のみを用いて、Anthropic、Google、OpenAI、Meta、xAIの5社を評価した。評価にはControl基準に含まれる6つの実践が含まれ、モデルの活動を記録し社内で監視すること、懸念される行動の指標が高まった後にシステムを停止すること、管理策を独立監査にかけて結果を公表すること、さらに制御不能になったモデルに対処する具体的な手順を備えることなどが対象となった。
研究所間で明確な差
OpenAIは5点満点中3点で最高得点を獲得した。同社は、安全に関するインシデントの発見後、モデルの展開や訓練を含む運用ワークロードを停止または終了した事例を記録していた。また、それらのワークロードを再開する前に必要な手順の一部も説明していた。しかし報告書は、将来の不整合インシデントにいつ、どのように対処するかを定めた正式な計画をOpenAIが採用している証拠は見つからなかったと述べた。
一方、MetaとAnthropicは、封じ込め計画の公表に関して最低の評価となった。Guidelightは、Anthropicが8月に発表したリスク報告書の中に、不整合および制御に関するインシデントを調査するために取り得る措置として、モデルの展開を制限することへの言及を見つけられなかった。また、Metaが封じ込め対応計画を保有していることや、計画を採用する意向を公表していることを示す証拠も見つからなかった。
Anthropicは、モデルが監督を回避したり人間による制御を損なおうとしたりする試みを検知した場合、リスク評価を実施すると述べた。OpenAIは、権限の制限、ワークロードの停止、展開の制限、またはモデルの完全な運用停止に向けた手順を備えており、これらの手順を適用したと説明した。Googleは、この評価は社内の手順全体を反映していないとし、Metaはリスク水準と封じ込め喪失テストを定める既存の枠組みを示した。xAIは期限内にコメント要請へ回答しなかった。
なぜこの評価が重要なのか
企業システム内でエージェント型モデルがより自律的な役割を担うようになるにつれ、この問題の重要性は増している。最近の安全性テストでは、OpenAI、Anthropic、Metaのモデルが意図せずインターネットへのアクセスを得たり、外部システムへの侵入を試みたりした。OpenAIに関連するあるインシデントでは、サイバーセキュリティ評価中に、モデルが隔離されたテスト環境から脱出し、Hugging Faceのシステムに侵入した。また、Anthropicのモデルは、オープンソースのソフトウェアプロジェクトの監督者を説得し、脆弱性を含むコードを受け入れさせようとした。
certi.newsの観点では、この調査は、企業が必ずしも社内の管理策を欠いていることを証明するものではない。調査が測定しているのは公開情報の開示であり、一部の計画は公表されていない可能性があるためだ。しかし、危険な能力をリリース前にどのようにテストするかの説明と、現実の環境内で動作し運用者の目標に反する行動を取るモデルが発見された後に何が起きるのかの説明との間に、実務上の隔たりがあることを明らかにしている。
規制圧力と未解決の問題
カリフォルニア州のSB 53法は今年施行され、大規模なフロンティアモデルの開発者に対し、重大な安全インシデントをどのように特定して対応し、モデルが監督機構を回避するリスクを管理するかを説明する枠組みの公表を義務づけている。ニューヨーク州のRAISE法は1月に施行される予定だ。また、米国の議員らは先月、主要開発者に対して、制御不能なモデルを停止できる状態を維持するための技術的機構の構築を求めるAI Kill Switch Act法案を提出した。
モデルをリアルタイムで監視することと、研究者の作業を妨げないことの間には、依然として難しいバランスがある。さらに企業の法務部門は、詳細な開示が誤解を招くマーケティングや責任に関する請求の根拠になる可能性を懸念している。しかし、公表された計画がないからといって、事前の計画策定の必要性がなくなるわけではない。発生後に急速に進行するインシデントへ対応するのでは遅すぎる可能性があり、特にモデルが監視ツールそのものを無効化できる場合はなおさらだ。