Anthropicは、独立した監督モデルの導入を開始したと発表した。このモデルにより、非営利団体METRの6人の職員が、高度な人工知能モデルのリスクを評価するために必要な、同社の従業員に近い形でのデバイス、オフィススペース、ツール、内部システムへのアクセス権を得る。Anthropicによると、METRはリスク水準、インシデント、慣行に関する評価結果を公開でき、Anthropicにはその公開を拒否する権利がない。
この措置は、Anthropicが先月、第三者による独立評価を強化すると約束したこと、また企業が独立した外部監査人または評価者と協力することを盛り込んだ「ホワイトハウスの超知能に関する合意」に署名したことを受けたものだ。Anthropicは昨年、METRと複数回にわたり自社のリスク報告書のレビューに取り組んできたほか、SecureBio、Accenture、Facultyとも協力しており、Hugging Faceを含む他の組織とも初期段階の協議を行っている。
従業員に近いアクセスとは何を意味するのか
Anthropicによると、従業員は、アラインメント・リスクに取り組む同僚に情報を共有するのと同じように、METRのチームにも情報を共有することが推奨される。これには、内部のリスク評価チームが得ているものに近いアクセスが含まれるが、顧客データ、弁護士・依頼者間の秘匿特権で保護される情報、モデルアーキテクチャに関する一部の情報など、特定のカテゴリーは除外される。
Anthropicは、METRが観察結果や評価結果を公開することを阻止できない。ただし、事前に狭く明確に定められたカテゴリーに該当する情報については、非公開にするよう求めることができる。一方、METRは非公開措置の内容を公に説明し、それが正当だと考えるかどうかを明らかにできるが、非公開にされた情報自体は開示しない。また、参加者は、法的強制力のある契約に基づいて活動する小規模なチームに限定され、この任務からMETRの他の職員は隔離される。
独立評価の3段階
Anthropicは、評価者との提携について3段階のモデルを構築している。
- 第1段階：範囲を限定した調査。Anthropicがアクセスの程度を決定し、成果物は同社の承認がある場合にのみ公開される。
- 第2段階：より広範なアクセスと、事前承認なしに公開する権利。ただしAnthropicは、特定の情報カテゴリーの削除を求める権利を保持する。
- 第3段階：現在のMETRとの取り決め。従業員に近いアクセスと、第2段階と同様の公開権が含まれる。
SecureBioは現在、8月に発表されたAnthropicのリスク報告書における化学兵器と生物兵器の章をレビューしている。これは、以前の報告書について試験的なレビューを完了し、その結果を公開した後のものだ。AccentureおよびFacultyとの提携には、モデルの評価とレッドチーム方式によるテスト、アラインメント評価、安全策のテスト、共同能力の構築が含まれる。
なぜこの変化が重要なのか
Anthropicは、同社が外部の監視者よりも自社のシステムとリスクについて多くを把握している一方、悪用のリスクや商業上の機微性があるため、計算資源や訓練に関する情報を含むすべての詳細を公にできないと認めている。そのため、このモデルは、独立した評価者が確認できる内容と、同社が内部で把握している内容との隔たりを埋めることを目指している。同時に、評価者に自らの結論を実際に公開する余地を与える。
それでも、この取り組みは小規模なチームとアクセス契約および機密保持管理によって制限されており、他の提携の一部も依然として初期段階にあり、公開権はより狭い。モデルの有効性は、評価者の独立性、評価者が利用できる情報の広さ、そして同社にとって不都合な結果を実際に公開できる能力に左右される。Anthropicは、これらの点をどのように整備するかについて、なお学んでいる段階だとしている。