Testes realizados pela White Circle, empresa especializada na avaliação da segurança da inteligência artificial, revelaram vulnerabilidades nas barreiras de prevenção de conteúdo explícito dos modelos de geração de imagens da OpenAI e do Google. Usando ferramentas disponíveis para download, modelos públicos e solicitações por meio de interfaces de programação de aplicações, os pesquisadores conseguiram contornar os filtros e produzir imagens classificadas por avaliadores humanos como explícitas.
A maior taxa de sucesso foi de cerca de 13% com o DALL·E 3, enquanto a taxa ficou abaixo de 10% com o Google Nano Banana 2 e em torno de 3% com o GPT-Image-2. A White Circle afirma que essas taxas foram as mais altas entre os métodos testados segundo o mesmo critério, ressaltando que os ataques não exigiram modelos de ponta nem ferramentas personalizadas.
Versões mais recentes e testes mais preocupantes
A White Circle informou à Ars Technica que os testes iniciais com o mesmo método constataram que o ChatGPT Images 2.5 e o Nano Banana 2.1, versões mais recentes da OpenAI e do Google, eram «significativamente mais vulneráveis» do que as duas versões anteriores. As duas empresas não responderam aos pedidos de comentário nem aos resultados compartilhados pelo site com elas.
Esses resultados, por si só, não provam que os novos modelos sejam mais fracos em todos os usos, mas levantam uma questão prática sobre o equilíbrio entre ampliar as capacidades de geração e reforçar as restrições preventivas. A White Circle considera duas possibilidades: os modelos mais recentes podem ter se tornado mais capazes de produzir uma gama mais ampla de conteúdo, ou a segurança pode ter perdido prioridade em relação às capacidades.
Como funciona o ataque RISE?
A White Circle chamou seu método de «red teaming por meio da evolução iterativa de estratégias» (RISE). Em vez de testar uma única solicitação maliciosa por vez, o método usa um modelo atacante para gerar várias tentativas de quebra e um modelo juiz para verificar a produção de conteúdo proibido, com o objetivo de encontrar padrões reutilizáveis e transferíveis entre diferentes modelos.
O sistema usou uma versão publicamente disponível do Qwen3-32B, da qual o treinamento de segurança havia sido removido, como modelo atacante, e o Gemini 2.5 Flash como modelo juiz. A empresa afirma que essa estrutura significa que testar as defesas de um modelo de ponta não exige um modelo de ponta nem uma tecnologia proprietária; bastam ferramentas gratuitas e a capacidade de enviar solicitações à interface de programação.
Por que esta notícia é importante?
O problema se torna mais importante porque conteúdo sexual sintético não consensual pode ser produzido ou compartilhado longe dos sistemas de monitoramento, por meio de mensagens diretas ou armazenamento privado em nuvem. Uma pesquisa da qual o Google participou mostrou que 20% dos usuários que admitiram produzir imagens nuas com inteligência artificial fizeram isso «por diversão» ou «como uma brincadeira», enquanto cerca de um terço afirmou que estava experimentando a tecnologia, o que faz do atrito técnico dentro dos modelos um fator que pode dissuadir alguns usuários.
A Internet Watch Foundation também alertou ter encontrado 6.310 imagens geradas por inteligência artificial que se enquadram legalmente como material de abuso sexual infantil durante os seis primeiros meses de 2026, um aumento de aproximadamente 40% em relação ao total encontrado no ano anterior. A organização pede que os modelos sejam testados antes do lançamento e que sejam projetadas barreiras para impedir a produção desse tipo de material desde o início.
Testes independentes em debate
A White Circle pretende disponibilizar todo o pipeline de ataque como código aberto e também planeja apresentar a pesquisa na conferência NeurIPS 2026, em novembro. A empresa considera que o método pode ajudar os laboratórios a descobrir tentativas de contorno mais diversificadas, não apenas em conteúdo explícito, mas também em conteúdo de violência ou automutilação.
Mas a White Circle também defende auditorias independentes obrigatórias e monitoramento por terceiros, considerando que a avaliação dos próprios sistemas pelas empresas pode não revelar todos os riscos. Permanecem em aberto questões importantes, entre elas como calibrar os testes de conteúdo explícito, como proteger os pesquisadores de acordos de não divulgação que possam impedir a publicação dos resultados e como transformar os resultados dos testes em correções verificáveis, em vez de se limitar aos relatórios das empresas.