Des tests menés par White Circle, une entreprise spécialisée dans l’évaluation de la sécurité de l’intelligence artificielle, ont révélé des faiblesses dans les garde-fous empêchant la production de contenus explicites par les modèles de génération d’images d’OpenAI et de Google. À l’aide d’outils disponibles au téléchargement, de modèles publics et de requêtes envoyées via des interfaces de programmation d’applications, les chercheurs ont réussi à contourner les filtres et à produire des images que des évaluateurs humains ont classées comme explicites.
Le taux de réussite le plus élevé a atteint environ 13 % avec DALL·E 3, tandis qu’il était inférieur à 10 % avec Google Nano Banana 2 et d’environ 3 % avec GPT-Image-2. White Circle affirme que ces taux étaient les plus élevés parmi les méthodes testées selon le même critère, tout en précisant que les attaques ne nécessitaient ni modèles de pointe ni outils personnalisés.
Des versions plus récentes et des tests plus préoccupants
White Circle a indiqué à Ars Technica que les tests préliminaires menés selon la même méthode avaient montré que ChatGPT Images 2.5 et Nano Banana 2.1, deux versions plus récentes d’OpenAI et de Google, étaient « nettement plus faciles à compromettre » que les deux versions précédentes. Les deux entreprises n’ont pas répondu aux demandes de commentaires ni aux résultats que le site leur avait communiqués.
Ces résultats ne prouvent pas à eux seuls que les nouveaux modèles sont plus faibles dans tous les usages, mais ils soulèvent une question pratique sur l’arbitrage entre l’élargissement des capacités de génération et le renforcement des restrictions préventives. White Circle avance deux hypothèses : soit les modèles les plus récents sont devenus capables de produire une gamme plus étendue de contenus, soit la sécurité a reculé dans l’ordre des priorités par rapport aux capacités.
Comment fonctionne l’attaque RISE ?
White Circle a baptisé sa méthode « évaluation rouge par évolution itérative des stratégies » (RISE). Au lieu d’essayer une seule requête malveillante à la fois, la méthode utilise un modèle attaquant pour générer de multiples tentatives de contournement et un modèle juge pour vérifier la production de contenus interdits, afin de repérer des schémas réutilisables et transférables entre différents modèles.
Le système reposait sur une version disponible publiquement de Qwen3-32B dont l’entraînement à la sécurité avait été retiré, utilisée comme modèle attaquant, ainsi que sur Gemini 2.5 Flash, utilisé comme modèle juge. L’entreprise affirme que cette architecture signifie que tester les défenses d’un modèle de pointe ne nécessite ni modèle de pointe ni technologie propriétaire, mais seulement des outils gratuits et la capacité d’envoyer des requêtes à l’interface de programmation.
Pourquoi cette information est-elle importante ?
Le problème gagne en importance, car des contenus sexuels synthétiques non consensuels peuvent être produits ou diffusés en dehors des systèmes de détection, par l’intermédiaire de messages privés ou d’un stockage cloud privé. Une étude à laquelle Google a participé a montré que 20 % des utilisateurs ayant reconnu avoir produit des images nues à l’aide de l’intelligence artificielle l’avaient fait « pour le plaisir » ou « comme une blague », tandis qu’environ un tiers ont déclaré qu’ils expérimentaient la technologie, ce qui fait de la friction technique au sein des modèles un facteur susceptible de dissuader certains utilisateurs.
L’Internet Watch Foundation a également averti avoir trouvé 6 310 images générées par l’intelligence artificielle qui relevaient légalement des contenus d’abus sexuels sur mineurs au cours des six premiers mois de 2026, soit une hausse d’environ 40 % par rapport au total découvert l’année précédente. La fondation appelle à tester les modèles avant leur lancement et à concevoir des garde-fous empêchant la production de ce type de contenus dès le départ.
Le débat sur les tests indépendants
White Circle entend rendre l’intégralité de son pipeline d’attaque disponible en open source et prévoit également de présenter ses recherches lors de la conférence NeurIPS 2026, en novembre. L’entreprise estime que cette méthode pourrait aider les laboratoires à détecter des tentatives de contournement plus variées, non seulement dans les images explicites, mais aussi dans les contenus violents ou liés à l’automutilation.
White Circle plaide également en faveur d’un audit indépendant obligatoire et d’une surveillance par des tiers, considérant que l’évaluation de leurs propres systèmes par les entreprises pourrait ne pas révéler l’ensemble des risques. D’importantes questions restent ouvertes, notamment la manière de calibrer les tests portant sur les contenus explicites, la façon de protéger les chercheurs contre les accords de confidentialité susceptibles d’empêcher la publication des résultats, et la manière de transformer les résultats des tests en corrections vérifiables plutôt que de se contenter des rapports des entreprises.