Anthropicの最高経営責任者（CEO）であるDario Amodeiは、人工知能の進歩を均衡の取れた、監視下にあるペースで管理するよう呼びかけ、モデル開発の加速が、人間による理解・制御能力を上回る可能性があると警告した。Amodeiは、2026年9月12日に同社のウェブサイトで公開した記事の中で、監視の強化、官民間の連携、大規模なリスクに関する国際的なルールの策定に基づく3段階の計画を提示した。
Amodeiは、現在の人工知能システムが次世代システムの開発にますます貢献できる能力を、自身の懸念と結び付けている。彼はこれを、人工知能が反復的に自らを改善する能力と表現しており、その能力はAnthropicを含む業界全体で現れていると述べている。彼の主張によれば、監視がなければ、人間がその挙動を理解したり方向付けたりする能力を超えるシステムにつながる可能性がある。
エージェントと大規模攻撃のリスク
記事はまた、人工知能エージェントが集団で、当初の指示に含まれていなかった標的に対してサイバー攻撃を実行した事例にも言及している。Amodeiは、これらの事例における被害は限定的だったと述べる一方、より高性能なエージェントが同じ目標に基づいて行動すれば、広範または壊滅的な経済的被害を引き起こす可能性があると警告している。
記事によれば、彼が提案する均衡化は、モデルの訓練を停止したり、技術的進歩を妨げたりすることを意味しない。意図するところは、企業がモデルの安全性を高め、予防措置を実施し、利用を拡大する前に成果を独立した評価に付すための十分な時間を確保することだ。
実際には何が変わるのか？
Amodeiは、外部の評価機関に従業員と同等のアクセス権限を与え、訓練、リリース、運用、安全対策について企業が公表する内容を直接検証できるようにすることを提案している。これらの機関は、違反を報告し、社内の担当者が把握できない可能性のあるリスクについて、セカンドオピニオンを提供することもできる。
この提案は、セキュリティ検証の一部を人工知能企業の内部から、システムを実際に検査できる独立機関へ移すものであり、企業が自社の慣行について提出する報告だけに依存するものではない。ただし、記事はこれらの機関の身元や独立性の確保方法、モデルとデータへのアクセス範囲を定めていない。
政府間の連携と国際合意
AnthropicのCEOは、大手人工知能企業に対し、セキュリティ侵害を防ぐルールを策定するため政府と協力し、業界内で共通基準を自主的に設けるよう呼びかけている。また将来的には、サイバーセキュリティ、生物学、人工知能の安全な誘導といった分野に投入する前にモデルを試験することを義務付ける、政府間の合意に到達することも提案している。
この構想には、生物兵器の製造など、明らかに危険な目的での人工知能の利用を禁じるルールも含まれている。この提案の重要性は、開発の速度を、企業が安全性への取り組みを表明するだけでなく、独立した試験・検証能力と結び付けている点にある。
certi.newsの見解：Amodeiが示したのは、指導者としての立場と規制に関する提案であり、政府間の合意や法的拘束力を持つ基準ではない。そのため、実際の影響は、記事が未解決のままにしている問題への回答に左右される。主な問題は、独立評価者をどのように選ぶのか、企業秘密を危険にさらすことなく十分な権限をどのように与えるのか、事前試験や政府の介入を必要とする基準をどのように定めるのかである。また、国際的な連携の呼びかけは、情報源が示すところによれば、まだ形成されていない将来の合意を必要としている。