Anthropicのテスト、小型AIモデルが安価なデバイスを介した自己複製に近づいていると警告

AnthropicのFrontier Red Teamチームは、約825ドルで構築した低価格Android TVデバイス15台の集合上でAIモデルを動作させ、インターネットに接続されたデバイス間で小型AIモデルが自己複製する能力にどの程度近づいているかを調べる実験を行った。このハードウェアは毎秒0.39トークンで動作する。通常の対話には遅い速度だが、ユーザーの応答を待たずに動作するソフトウェアには十分な可能性がある。

この研究は、Anthropicが公衆インターネット上で自動的に拡散できるAIワームを構築したことを意味しない。実験は隔離された環境内で行われ、デバイスへのアクセスを容易にする近道や仮定が含まれていた。しかし、研究者のWilliam ZhouとDaniel Freemanが発表した結果は、残された技術的障壁の一部が一時的なものにすぎない可能性を示している。

自己複製チェーンの4段階

研究では、ソフトウェアワームが自身を複製するために必要な4つの作業として、標的の発見、標的へのアクセス取得、推論の実行、そして別のデバイスへの移行を挙げている。研究者らによれば、小型モデルは悪用に必要な能力の一部をすでに示している一方、未知のハードウェア、OS、依存関係上でモデルを動作させることが最大の課題となっている。

テストでは、Qwen3.5-9Bが、Jetson Nano、Mac、RTX 4090搭載コンピューターなど、9種類中8種類のハードウェア上でLlama3.1-8Bを使う推論サーバーのセットアップに成功した。GLM-5.2はより信頼性が高く、スループットも優れていたが、標的デバイス上で直接動作させるには大きすぎた。

ファイアウォールで保護されたGoogle Cloud環境には、Androidエミュレーターを実行する8つのノードが含まれていた。GLM-5.2は5回の試行のうち4回で8ノードすべてに到達し、5回目には7ノードに到達した。GLM-5.2の実行には別のサーバーを使用し、ワームは標的デバイス上に8Bサイズの小型モデルをインストールした。また、文書化されていないAndroid Debug Bridgeポートが開放されたままであり、これは必ずしも実際のネットワーク環境を反映する要因ではない。

メモリが複製の成功率を向上

後続のコピーが以前の試行で残されたメモを読めるようになると、エージェントが推論をセットアップする能力は向上した。Qwen3.5-9Bを20の系統で実行し、それぞれを6世代にわたって継続させたところ、成功率は第1世代の45%から、後続世代では61%から84%の範囲に上昇した。

研究者らはこの手法を「ラマルク的継承」と呼んだ。モデルを再訓練せずに、経験が一つのコピーから次のコピーへ引き継がれるためである。一方、Qwen3.5-9Bにより強力なOpus 4.8モデルへ助言を求める能力を与えても、統計的に有意な改善は得られなかった。小型モデルが、何を質問すべきかを常に把握していたわけではなかったためだ。

実際には何が変わるのか

現在の逆説は、完全な自己複製プロセスを実行できるモデルは、多くの場合、侵害したデバイス上で動作させるには大きすぎる一方、そうしたデバイスに適した小型モデルは、十分な安定性でタスクを完了できないことにある。研究者らは、4GBのTVデバイスであれば、9Bモデルを4台以上のユニットに分散し、26Bモデルを10台以上のユニットに分散して実行できると推定している。Anthropicの15台のデバイスで構成されたクラスターは、Gemma4-26B-A4Bを実行する。

この種類のデバイス上で1回の推論をセットアップするには、モデルによって28時間から150時間かかる可能性がある。しかし、ソフトウェアエージェントには人間のような忍耐を必要としないため、膨大な数のデバイスにゆっくり拡散する可能性は、従来の高速な攻撃とは異なるものになる。

200万台以上のデバイスに感染し、その大半が安価なAndroid TVデバイスだったKimwolfネットワークを基に、研究者らは、同規模の台数を15台単位のクラスターに分割すると、約13万3,000個のモデルコピーが生成され、合計速度は毎秒約8万トークンに達すると計算した。この能力は、Nvidia H100のGPU約40基以下に相当するが、その代償として、他者が所有するデバイスと運用コストを利用することになる。

リスクの限界と検知手段

この結果は、インターネット上で自己拡散するワームの存在を証明するにはなお程遠い。テストは開放されたポートと管理された環境に依存しており、2026年末に関する研究者らの推定も、モデル能力における一般的な傾向に基づくもので、実際の自己複製プロセスで同等の性能が得られることを保証するものではない。

一方、拡散に必要な条件によって、この種のソフトウェアの検知が可能になる場合もある。数ギガバイトのモデルをデバイス間で転送すれば、インターネットサービスプロバイダーが監視できるネットワークトラフィックが発生するためだ。研究は、Miraiネットワークへの対策時に、あるサービスプロバイダーの措置によって14日間で感染の92%が除去された事例のように、感染した加入者を隔離することが初期防衛線となり得ると指摘している。しかし、コピーを完全に排除するには、感染デバイスをネットワーク内に含むすべてのサービスプロバイダー間の連携が必要になる。