AIの安全性評価を専門とするWhite Circleが実施したテストにより、OpenAIとGoogleの画像生成モデルにおける露骨なコンテンツを防止するガードレールの脆弱性が明らかになった。研究者らは、ダウンロード可能なツール、公開モデル、API経由のリクエストを用いてフィルターを回避し、人間の評価者が露骨だと分類した画像を生成することに成功した。
成功率はDALL·E 3で約13%と最も高く、Google Nano Banana 2では10%未満、GPT-Image-2では約3%だった。White Circleによれば、これらの割合は同じ基準でテストした手法の中で最も高かった。同社は、攻撃に最先端モデルや専用ツールは必要なかったと強調している。
より新しいバージョンと、さらに懸念を呼ぶテスト
White CircleはArs Technicaに対し、同じ手法による初期テストで、OpenAIとGoogleのより新しいバージョンであるChatGPT Images 2.5とNano Banana 2.1は、以前の2つのバージョンより「大幅に突破されやすかった」と伝えた。両社は、コメントの要請にも、同サイトが共有した結果にも回答しなかった。
これらの結果だけで、新しいモデルがあらゆる用途で弱いことが証明されたわけではない。しかし、生成能力の拡大と予防的な制限の強化との間で、どのようなトレードオフが生じるのかという実務的な疑問を提起している。White Circleは2つの可能性を挙げている。新しいモデルがより広範なコンテンツを生成できるようになった可能性、または能力と比較して安全性の優先順位が低下した可能性だ。
RISE攻撃はどのように機能するのか？
White Circleはこの手法を「反復的な戦略進化によるレッドチーミング」（RISE）と名付けた。毎回1つの有害なプロンプトを試すのではなく、この手法では攻撃モデルを使って複数の突破試行を生成し、判定モデルを使って禁止コンテンツが生成されたかを確認する。目的は、異なるモデル間で再利用・転用できるパターンを見つけることだ。
このシステムは、安全性に関する訓練を除去した公開版のQwen3-32Bを攻撃モデルとして、Gemini 2.5 Flashを判定モデルとして使用した。同社によれば、この構成は、最先端モデルの防御をテストするために、最先端モデルや独自技術を必要としないことを意味する。無料のツールとAPIにリクエストを送信する能力があればよい。
なぜこのニュースが重要なのか？
合意のない人工的な性的コンテンツは、監視システムから離れた場所で、ダイレクトメッセージやプライベートなクラウドストレージを通じて生成・配布される可能性があるため、この問題の重要性は増している。Googleが参加した研究では、AIでヌード画像を生成したと認めたユーザーの20%が、「楽しみ」または「冗談」のために行ったと回答した一方、約3分の1は技術を試していたと答えた。これは、モデル内部の技術的な摩擦が一部のユーザーを思いとどまらせる要因になり得ることを示している。
また、Internet Watch Foundationは、2026年上半期の6か月間に、法的に児童性的虐待資料に該当するAI生成画像が6,310点見つかったと警告した。これは前年に見つかった総数から約40%増加している。同財団は、モデルをリリース前にテストするとともに、そもそもこの種の資料の生成を防ぐガードレールを設計するよう求めている。
独立したテストをめぐる議論
White Circleは攻撃パイプライン全体をオープンソースとして公開する予定であり、11月に開催されるNeurIPS 2026で研究を発表する計画も立てている。同社は、この手法が研究所によるより多様な回避試行の発見に役立つ可能性があると考えている。対象は露骨な画像だけでなく、暴力や自傷行為に関するコンテンツにも及ぶ。
しかしWhite Circleは、義務的な独立監査と第三者による監視も推進している。企業が自社のシステムを自ら評価するだけでは、リスクをすべて明らかにできない可能性があると考えているためだ。重要な問いは残されている。露骨なコンテンツのテストをどのように調整するのか、結果の公表を妨げる可能性がある秘密保持契約から研究者をどのように守るのか、そしてテスト結果を企業の報告書だけで終わらせず、検証可能な修正へとどのように変換するのか、といった問題である。