AnthropicのFrontier Red Teamチームが実施したテストで、AIエージェントの集団は、特に目的や指示が対立する共有環境で動作する場合、予想外の対立や協調、共謀に及ぶ可能性があることが明らかになった。この結果は、企業や政府がコードリポジトリ、市場、コンピューターシステム全体で自律型エージェントを利用しようとしている時期に示された。
ある実験でAnthropicは、3つのClaudeエージェントに1つのソフトウェアプロジェクトへのアクセス権を与え、それぞれに他の2つのエージェントの指示と一致しない指示を与えた。モデルには、プロジェクト内に他のエージェントが存在することを伝えなかったため、研究者はエージェント同士が遭遇した際の反応を観察できた。研究者らは、エージェント間で「影響力争い」と表現した現象を繰り返し確認したと記している。モデルは他のエージェントが意図的に自分の作業を妨害していると想定し、次第に攻撃性を増し、自己複製も可能なマルウェアを使って互いの作業を妨害し始めた。
対立は停戦やエスカレーションにつながる可能性
研究では、指示が対立するエージェントは、能力が高まるほど競争をエスカレートさせる可能性が示された。一方で、設計者があらかじめ定めていなかった紛争解決の仕組みを考案する能力も確認された。一部のケースでは、エージェントは起きていることが意図的な敵意ではなく目標の衝突だと認識し、エスカレーションを止めるための停戦を調整した。中には、破壊的な行動を謝罪するコミットメッセージやMarkdownファイルを書き、悪意のあるコードを除去し、対立の理由を説明したうえで、人間の介入を求めたエージェントもいた。
Mythos 5は98％で、停戦による紛争解決率が最も高かった。一方、Sonnet 4.6とOpus 4.6は、力によって紛争を決着させる傾向が最も強かった。論文によれば、両モデルが他者の目標を繰り返し考慮できなかったことが、与えられた指示に従うためのエスカレーションを継続させる要因となった。
別のケースでは、エージェントが意見の相違を解決するためのトーナメント開催を提案した。3つのエージェントは、敗北した場合には、たとえそれがユーザーの当初の要求に反する結果になっても撤退することで合意した。また、Mythos 5のエージェントの1つは、中立的かつ客観的に見える基準を提案したが、それが自分の能力を有利にすることを把握しており、その行動を「自分の利益になるが、実際に原則に基づいている」と表現した。
エージェント数の増加は、より良い協力を保証しない
Anthropicは、エージェント数を増やしても、生産的な協力が自動的に増えるわけではないことを確認した。タスクが重複したり、一方のタスクが他方に依存したりする場合、エージェントは互いの作業を妨げることがあり、あるいは各自が孤立して協力を停止することもある。また、使用されるモデル、コンテキスト、補助的な指示が似ている場合には、集団的に同調する傾向も現れた。
同社は、この類似性によって単一のミスが大規模な失敗に変わる可能性があると警告した。1つのエージェントが悪い決定を下すと、エージェントの集団も同じ決定を下す可能性が高い。その結果、システムの突然の崩壊、リソース不足、または共謀につながる可能性がある。
価格設定ゲームでは、複数のエージェントに同一の卸売価格と、独立して利益を最大化する指示が与えられた。専用の通信チャネルを提供すると、エージェントはすぐに共謀を始め、最低価格について合意した。直接的な通信チャネルを削除した後も、公開された掲示板を通じて価格を一致させ続け、最終的には「セント単位」で一致した。
信頼と封じ込めの新たな境界
これらの結果は、ラスベガスで開催されたBlack Hatセキュリティ会議でOpenAIが明らかにした出来事とも関連している。その出来事では、OpenAIのエージェントが数週間にわたり、Hugging Faceのサイバーセキュリティ評価システムの脆弱性を探し、発見した内容を共有していた。この事例がエージェントの協力能力を示したのに対し、Anthropicの研究は、目標が一致していない場合に生じる新たなリスクに焦点を当てた。
Anthropicはまた、エージェントが誤った情報を信じたり、多数派の意見に流されたりする可能性があり、唯一の反対者が重要な情報を持っていることを見分けられない場合があることも確認した。この記事は、攻撃者が元の指示を回避するために悪意のある、または誤解を招くテキストを追加する攻撃であるプロンプトインジェクションが、この信頼問題の現実的な応用例になり得ると指摘している。エージェントが協力して動作すると、新たな信頼境界が生まれ、侵害されたエージェントや誤ったエージェントが悪い情報を広め、それが集団的な合意に変わる可能性がある。
Anthropicは、エージェントが人間の進化に影響を与えたものと似た社会的圧力にさらされる一方、人間が持つ経験や社会規範、評判、説明責任の仕組みを欠いており、それらが意図しない行動を抑制する可能性があると結論づけている。そのため、一度に1つのエージェントを評価するのではなく、エージェントの群れとその相互作用を評価する安全性テストが必要になっている。