セキュリティ研究者チームが、Hugging Faceプラットフォームにおいて、攻撃者がAIモデル開発者のアカウントを完全に制御できる深刻な脆弱性を実証しました。この脆弱性は、Google、NVIDIA、AMD、Intel、Amazon Web Servicesなどの大手企業が関与する技術プロジェクトでも広く利用されている人気のテキスト読み上げ(Text-to-Speech)モデル「Kokoro」のアカウントを乗っ取ることで明らかにされました。
乗っ取りはどのように行われたか?
アロン・ヘルツ氏率いる研究チームは、プラットフォーム上のアカウント所有権に対する厳格な検証メカニズムの欠如を悪用しました。チームはKokoroプロジェクトの寄付ファイルに記載されていたインターネットドメインを登録し、そのドメインを使用してHugging Face上の開発者アカウントのパスワードをリセットすることで、アカウントへの完全なアクセス権を取得しました。
ユーザーにとって何を意味するのか?
研究者らは、真のリスクは単なるアカウントの盗難ではなく、サプライチェーン攻撃を実行できる点にあると説明しています。ウイルス対策ソフトで検知可能な従来のマルウェアを挿入する代わりに、研究者らはニューラルネットワークモデル自体の「重み(Weights)」を改ざんしました。この改ざんにより、モデルの実行コードやインフラストラクチャに変更を加えることなく、入力されたテキストとは異なる音声を出力させることが可能になります。これにより、従来の検査システムからは攻撃が不可視化されます。
なぜこのニュースが重要なのか?
この侵害は、オープンソースモデルのエコシステムにおけるより広範な信頼の問題を浮き彫りにしています。Hugging Faceプラットフォームは現在、モデルの公開者の身元や、アカウントが元の所有者の管理下にあるかどうかを検証していません。多くの本番環境システムがモデルの自動更新に依存しているため、侵害されたアカウントを通じてプッシュされた悪意のある更新は、既存のセキュリティツールに疑念を抱かせることなく、そのモデルに依存する数千ものシステムに直接配信されてしまいます。
研究者らは、Kokoroモデルは単なる顕著な例に過ぎず、プラットフォーム上のすべてのアカウントが同様のシナリオに対して脆弱である可能性があると強調しています。攻撃者は悪意のある更新をプッシュするまで長期間待機することが可能であり、実際の運用環境においてこのような攻撃を検知することは極めて困難です。