AnthropicのFrontier Red Teamが実施した研究によると、小型AIモデルは数か月以内に自らを複製し、商用IoTデバイス間に拡散できるようになる可能性がある。このシナリオは従来型のマルウェアとは異なり、モデル自体が感染したデバイス上で動作するため、攻撃を無効化するために停止できる中央制御点がなくなる。
研究者らは、1台約55ドルのAndroid搭載テレビ受信機15台をテストした。260億パラメーターのオープンウェイトモデルは、これらのデバイス上で分散して動作し、毎秒0.39トークンの速度を達成した。実験では、脆弱性の悪用を研究するのではなく、未知のハードウェア上でモデルが推論を実行できる能力に焦点を当てた。この点は過去の研究でも扱われている。
テスト結果
90億パラメーターのモデルは、チームがテストした9種類のハードウェアのうち8種類で推論を実行できた。その後、研究者らは、意図的に侵入手順を簡略化した、8台のシミュレートされたAndroidデバイスによる閉鎖ネットワーク上で、完全な複製サイクルをテストした。
テストされたオープンウェイトモデルのうち、GLM-5.2は5回中4回の試行でサイクルを完了し、8台すべてのデバイスに到達した。Anthropicはこの結果を、現実世界で予想される成功率を示すものではなく、成功可能性の上限と説明している。
実際には何が変わり得るのか？
300億パラメーター以下のモデルは、すでに多くの個別手順を実行できるが、それらを1つの連続した処理に結び付ける際にミスを犯す。過去の改善率に基づき、Anthropicは、これらのモデルが2026年末までにGLM-5.2の水準に達すると予測している。そのため、その後まもなく「小型のウェイトベース・ワーム」が実現可能になる可能性がある。
同社が行った比較によると、200万台を超えるデバイスに感染したKimwolf規模のネットワークには、15台のデバイスごとに1つのモデルを実行した場合、260億パラメーターのモデル約13万3000個をホストできる可能性がある。ただし、統合された計算能力はNvidia H100 GPU約40基を超えず、各複製には1日以上かかる可能性がある。つまり、拡散は遅く、計算コストも高くなる。
防御上の利点と現在の制約
特定のデバイス向けに設計された従来型ボットネットとは異なり、AIベースのワームは未知のハードウェアに適応できる可能性がある。しかし、通常は相互通信しないデバイス間で大規模モデルを転送し、継続的なトラフィックを発生させれば、インターネットサービスプロバイダーの監視システムで明確に検知される可能性がある。また、デフォルトパスワードを廃止し、メーカー側のセキュリティ設定を改善すれば、標的になり得るデバイスの数を減らせる。
編集部の結論：今回の実験は、現時点で開放環境に拡散可能な悪性ワームの存在を証明するものではない。サイクルは閉鎖ネットワーク上で、簡略化された侵入手順を用いてテストされたためだ。しかし、将来的なリスクはモデルの規模拡大だけに依存するのではなく、探索、実行、複製のタスクをまとめ、学習した内容を別の複製へ伝達する能力にも依存することを示している。