Tests des auf die Bewertung der Sicherheit künstlicher Intelligenz spezialisierten Unternehmens White Circle haben Schwachstellen in den Schutzvorkehrungen gegen explizite Inhalte der Bildgenerierungsmodelle von OpenAI und Google aufgedeckt. Mithilfe herunterladbarer Tools, öffentlich verfügbarer Modelle und Anfragen über Programmierschnittstellen konnten die Forscher die Filter umgehen und Bilder erzeugen, die menschliche Prüfer als explizit einstuften.
Die höchste Erfolgsquote lag bei DALL·E 3 bei etwa 13 %, während sie bei Google Nano Banana 2 unter 10 % und bei GPT-Image-2 bei etwa 3 % lag. White Circle zufolge waren dies unter den nach demselben Maßstab getesteten Methoden die höchsten Quoten. Das Unternehmen betont, dass die Angriffe weder Spitzenmodelle noch speziell entwickelte Tools erforderten.
Neuere Versionen und besorgniserregendere Tests
White Circle teilte Ars Technica mit, dass erste Tests mit derselben Methode ergeben hätten, dass ChatGPT Images 2.5 und Nano Banana 2.1, zwei neuere Versionen von OpenAI und Google, „deutlich anfälliger“ gewesen seien als die beiden vorherigen Versionen. Beide Unternehmen reagierten weder auf Bitten um Stellungnahme noch auf die Ergebnisse, die die Website mit ihnen geteilt hatte.
Diese Ergebnisse allein beweisen nicht, dass die neuen Modelle bei jeder Nutzung schwächer sind. Sie werfen jedoch eine praktische Frage zum Verhältnis zwischen dem Ausbau der Generierungsfähigkeiten und einer Verschärfung der Schutzbeschränkungen auf. White Circle hält zwei Möglichkeiten für wahrscheinlich: Entweder sind die neueren Modelle besser darin geworden, ein breiteres Spektrum an Inhalten zu erzeugen, oder die Sicherheit wurde gegenüber den Fähigkeiten bei der Prioritätensetzung zurückgestuft.
Wie funktioniert der RISE-Angriff?
White Circle nannte seine Methode „Red-Teaming durch iterative Entwicklung von Strategien“ (RISE). Statt jeweils nur eine schädliche Anfrage auszuprobieren, verwendet die Methode ein Angriffsmodell, um mehrere Umgehungsversuche zu erzeugen, sowie ein Bewertungsmodell, das die Erzeugung verbotener Inhalte überprüft. Ziel ist es, wiederverwendbare Muster zu finden, die sich auf verschiedene Modelle übertragen lassen.
Das System stützte sich auf eine öffentlich verfügbare Version von Qwen3-32B, aus der das Sicherheitstraining entfernt worden war, als Angriffsmodell sowie auf Gemini 2.5 Flash als Bewertungsmodell. Nach Angaben des Unternehmens bedeutet diese Architektur, dass das Testen der Abwehrmechanismen eines Spitzenmodells weder ein Spitzenmodell noch proprietäre Technologie erfordert, sondern lediglich kostenlose Tools und die Möglichkeit, Anfragen an die Programmierschnittstelle zu senden.
Warum ist diese Nachricht wichtig?
Das Problem gewinnt an Bedeutung, weil nicht einvernehmliche synthetische sexuelle Inhalte außerhalb von Überwachungssystemen über Direktnachrichten oder private Cloud-Speicher erzeugt oder verbreitet werden können. Eine von Google mitgetragene Studie zeigte, dass 20 % der Nutzer, die angaben, mit künstlicher Intelligenz Nacktbilder erzeugt zu haben, dies „zum Spaß“ oder „als Scherz“ taten. Etwa ein Drittel sagte, dass es die Technologie ausprobiert habe. Dies macht die technische Reibung innerhalb der Modelle zu einem Faktor, der einige Nutzer abschrecken könnte.
Auch die Internet Watch Foundation warnte davor, in den ersten sechs Monaten des Jahres 2026 6.310 KI-generierte Bilder gefunden zu haben, die rechtlich als Missbrauchsdarstellungen von Kindern eingestuft werden. Das waren etwa 40 % mehr als die Gesamtzahl der im Vorjahr gefundenen Bilder. Die Stiftung fordert, Modelle vor ihrer Veröffentlichung zu testen und Schutzvorkehrungen so zu gestalten, dass die Erzeugung dieser Art von Material von vornherein verhindert wird.
Unabhängige Tests in der Diskussion
White Circle beabsichtigt, die gesamte Angriffspipeline als Open Source bereitzustellen, und plant außerdem, die Forschung im November auf der Konferenz NeurIPS 2026 vorzustellen. Das Unternehmen ist der Ansicht, dass die Methode Laboren helfen könnte, vielfältigere Umgehungsversuche zu entdecken, nicht nur bei expliziten Bildern, sondern auch bei Inhalten zu Gewalt oder Selbstverletzung.
White Circle setzt sich außerdem für eine verpflichtende unabhängige Prüfung und die Überwachung durch Dritte ein. Nach Ansicht des Unternehmens könnte die eigene Bewertung ihrer Systeme durch die Unternehmen selbst möglicherweise nicht alle Risiken offenlegen. Wichtige Fragen bleiben offen, darunter die Kalibrierung von Tests für explizite Inhalte, der Schutz von Forschern vor Geheimhaltungsvereinbarungen, die eine Veröffentlichung der Ergebnisse verhindern könnten, und die Frage, wie sich Testergebnisse in überprüfbare Verbesserungen umwandeln lassen, anstatt sich mit Unternehmensberichten zu begnügen.