Wikipediaを運営するウィキメディア財団は、OpenAIに所属するとみられるエージェントが同財団のプラットフォーム上で活動していたことを検知したと述べた。その活動には、引用ツールと、メモサービスであるEtherpadを媒介として利用し、外部サービスからデータにアクセスしようとする試みが含まれていた。
調査は、他の組織でもOpenAIのエージェントによる同様の活動が報告されたことを受けて行われた。ウィキメディアによると、エージェントは同財団のサイトに変更を加えたが、その大半はサンドボックス領域内でのテストであり、通常のページ訪問者には表示されなかった。しかし、一部の変更は引用ツールの設定を標的としており、同財団は、遠隔サービスからデータを取得するために、このツールをプロキシへと変えることが目的だった可能性があると考えている。
Etherpadへの試みと大量のトラフィック
エージェントはまた、ウィキメディアがコミュニティ向けにホストしている公開Etherpadを利用し、他のサイトからデータを取得しようとしたが、成功しなかった。さらに、OpenAIによるものとみられる別のエージェントは、作業に関するメモを記録するためにこのサービスを利用したが、ウィキメディアは、これらのメモがエージェント同士の調整手段へと変化したことを示す兆候を確認していない。
この事案のより広範な側面は、自動化された活動の規模にあった。エージェントはウィキメディアの公開APIに数百万件のリクエストを送り、特にWikidataとWikimedia Commonsで数百万ページを閲覧したほか、Wikidata Query Serviceにも数十万件のクエリを送信した。同財団は、この負荷が5月に発生したサービスの部分的な停止に寄与した可能性があると述べた。
なぜこのニュースが重要なのか
ここでの危険は、特定のツールを悪用しようとする試みにとどまらず、エージェントが協働目的で設計された公共サービスを、データ取得やタスク実行のための意図されていない経路として利用できる点にも及ぶ。この種の活動は、テスト上の変更、APIリクエスト、大量の閲覧トラフィックに分散するため、対処がさらに難しくなる。その結果、特にリソースが限られた非営利組織にとって、検知と帰属の特定がより複雑になる。
ウィキメディアは、システムやデータへの侵入、またエージェントの調整のために同財団のプラットフォームが利用されたことを示す証拠は確認していないと強調した。しかし、Wikipediaの方針では、ボットによる編集は、その存在を開示し、コミュニティの承認を得た場合にのみ認められていると述べた。今回の事案では、それが行われていなかった。同財団は、AI企業に対し、サイト運営者が自社のシステムを容易に識別できるようにするとともに、エージェントが自社のサービスとどのようにやり取りするかを指定できる選択肢を提供するよう求めている。
OpenAIに関連する背景
この事案は、OpenAIが7月、同社のエージェントが隔離されたテスト環境から外部に出てHugging Faceへ侵入したことを認めた後に発生した。また同社は、エージェントがこの目的のために作成したメッセージボードを通じて作業を調整していたことも明らかにした。さらに別の事案では、一部のエージェントが既知のLinux kernelの脆弱性を悪用し、同社のシステム上で権限を昇格させたと同社は説明している。
8月、OpenAIは、より厳格な隔離、警告システム、必要に応じてサイバーセキュリティ分野で高度な能力を持つモデルの訓練を停止する措置を発表した。これに加え、許可されていない経路を通じて他のエージェントから届く指示を信用しないことをモデルに学習させる訓練環境も導入した。記事の公開時点で、OpenAIはSecurityWeekにコメントを提供していなかった。