Anthropicは、AI能力の急速な進歩に対応するため、先進的なモデルのガバナンスと、労働者および経済への技術の影響への備えを対象とする2つの提案を通じて、政府に政策の更新を求めている。同社は、モデルの発展速度を考えると透明性だけでは不十分であり、政府機関には、権限の悪用を防ぐ安全策を設けた上で、壊滅的なリスクを伴う可能性のある展開に対処するためのより大きな権限が必要だと考えている。
第1の提案は、先進AI枠組みであり、より強力なモデルと、それらから生じ得るリスクに焦点を当てている。第2の提案である経済枠組みは、AIの影響に備えて労働者と経済をどのように準備するか、そしてその経済的恩恵を広く共有する方法を扱う。Anthropicは、この2つの枠組みが1つの課題の2つの側面に対処すると述べている。それは、技術の進歩に伴って責任ある方向へ導くことと、技術が社会にもたらす変化に備えることである。
提案される規則の適用範囲
先進枠組みは、1025回を超える浮動小数点演算を用いて訓練され、AI関連の収益が5億ドルを超える、またはこの分野の研究開発に10億ドルを超えて支出している企業が開発するモデルに規則を適用することを提案している。Anthropicによれば、この範囲は、すべてのAIシステムに同じ要件を課すのではなく、フロンティアモデルを対象とするものだ。
同社は、この種の規制の必要性を、モデル能力が急激に上昇している傾向と結び付けている。数年前のモデルはコードを書くこともほとんどできなかった一方、Anthropicによれば、Claude Mythos Previewは、すべての主要なオペレーティングシステムとブラウザーの脆弱性を含む、数千件の高リスクなソフトウェア脆弱性を発見した。同社は、こうした傾向が続けば、壊滅的な被害のリスクが高まる可能性があると結論付けている。
4種類のリスク
この枠組みは、4つの主要なリスク分野に焦点を当てている。
- 生物学的リスク：保護されていないシステムは、生物兵器の開発をより容易かつ低コストにする可能性がある。ただし、同じ能力が医薬品の発見を加速させる可能性もある。
- サイバーリスク：高度なAIモデルは、重大な脆弱性を大規模に発見できるため、システム防御に役立つ可能性がある一方、病院や電力網などの重要インフラに対する脅威の水準も引き上げる。
- 制御喪失リスク：開発者の管理範囲外で行動するシステムは、その能力が向上するにつれて制御がより困難になる可能性がある。
- 自動化された研究開発：システムがAIの研究と開発を自動化し、上記3つのリスクを増幅させる可能性がある。
先進モデル開発者への要件
Anthropicは、先進モデルの開発者がシステムをテストし、その結果の概要を公表することに加え、壊滅的なリスクをどのように評価するかを示す安全性枠組みと、モデルの能力およびリスクを説明するモデルカードを公開することを提案している。また、この枠組みは、リスク全体の状況に関する定期報告の公開と、定期的な独立評価の実施を求めている。同社は、透明性に関する一部の要件はすでにカリフォルニア州およびニューヨーク州の法律で義務付けられているが、自社の提案は一部の側面でそれを上回ると考えている。
提案の下では、先進モデルの各開発者は、少なくとも1人の適格な独立評価者を起用し、その評価者が企業の評価とリスク報告書に関するレビューを公表すべきだとしている。Anthropicはまた、政府と技術部門に対し、独立評価者の基準を策定し、資金を提供し、モデルへの十分なアクセスを可能にすることで、独立評価者のエコシステムを構築するよう求めている。
この枠組みには、攻撃者にとって価値の高い標的であるモデルの重みと訓練に使用されるインフラを保護するためのセキュリティ要件も含まれる。その攻撃者には、潤沢な資源を持つ政府機関も含まれる。同社は、開発環境全体を外部および内部の脅威から保護し、セキュリティプログラムの概要を一般向けに説明し、要請に応じて特定の政府機関に詳細を提供し、モデル模倣攻撃を報告するための窓口を設け、防御策を定期的にテストすることを提案している。
統制を伴う政府権限
Anthropicは、壊滅的な被害を引き起こす重大なリスクをもたらすモデルの展開を政府が阻止または抑止できる法的能力を持つべきだと考えており、世界の年間収益に連動し、違反を繰り返した場合に増額される民事制裁を課すことを提案している。一方で、同社は広範または過度に重い規制権限に警告を発し、危険な展開を阻止するための明確な仕組みと、この権限の悪用を制限する具体的な安全策を提案している。
この枠組みは主として米国連邦政府に焦点を当てているが、提案と同等以上に強力な連邦法が成立しない限り、州法の廃止は求めていない。Anthropicによれば、州の権限の排除は限定的であるべきで、州は、連邦法が対象とする指定された安全機能の範囲外である限り、子どもの安全や消費者保護などの問題を引き続き規制できる。
社会のレジリエンスを強化
枠組みの第2部は、社会のリスク対応能力を高めるための措置を提案している。生物学の分野では、遺伝子合成のスクリーニング、早期警戒システムによる新たな流行の監視、防護装備の備蓄や空気感染の拡大を抑制する手段による備えなどが勧告に含まれる。
サイバー分野では、Anthropicはインターネットが依存するソフトウェアの強化、重要インフラ運営者への技術支援、その中で使用される旧式システムの置き換えを求めている。また、先進モデルのサイバー能力を追跡する専任の政府機能を設置し、政府と技術部門が協力して、サイバー能力を広範に共有できる保護手段を開発することも提案している。
同社は、制御喪失リスクと自動化された研究開発のリスクに対するレジリエンスのアジェンダはまだ発展途上であり、業界全体でさらなる取り組みが必要だと認めている。挙げている方向性の一つは、開発者の制御外で行動するシステムを検知して対応する能力を開発し、こうしたシステムを封じ込めたり停止したりするためのインフラを構築することだ。
Anthropicは自らの提案について幅広い議論が起きると予想しているが、今後数か月もAI能力の向上が続く中、政策立案者に対し、今すぐこれらの課題に取り組むよう促している。同社は、提案されている枠組みが引き続き議論と評価の対象である一方、技術のガバナンスはこの発展に歩調を合わせるべきだと強調している。