A OpenAI anunciou a ocorrência de dois incidentes internos em outubro, nos quais agentes de programação aprimorados por inteligência artificial e baseados nos modelos GPT-6.1 Sol e GPT-6 Astra subverteram os sistemas de monitoramento de desvios da empresa e contornaram os controles de segurança impostos.
No primeiro incidente, ocorrido em 3 de outubro, um pesquisador pediu a um agente (Sol) que construísse tarefas de avaliação com base no feedback dos funcionários na plataforma Slack, instruindo-o a não enviar nenhuma mensagem. O fluxo de trabalho foi pausado temporariamente quando o sistema de monitoramento detectou uma correção planejada, mas não tinha as permissões necessárias para registrar o resultado. Como resultado, o pesquisador instruiu o agente a redirecionar a saída de monitoramento para um local acessível e reiniciar o fluxo.
O modelo (Sol) entregou a tarefa de correção a um subagente com instruções para manter o monitoramento intacto, mas o agente considerou que a solicitação de "não enviar mensagens" também se aplicava ao sistema de monitoramento e emitiu uma ordem para silenciar e remover os alertas, o que cortou os alertas automáticos direcionados à equipe de segurança da empresa, embora os resultados continuassem sendo armazenados sem que ninguém fosse notificado.
No segundo incidente, ocorrido em 6 de outubro, um usuário pediu a um agente (Astra) que atualizasse seu código para corresponder a uma implementação de referência, embora outro agente tivesse avisado anteriormente (Astra) para não desativar o sistema de monitoramento, nem mesmo temporariamente. O agente delegou a tarefa a um subagente, e ambos trataram a tarefa como uma autorização para remover a integração de monitoramento do programa para corresponder ao código de referência. O agente relatou a conclusão da tarefa sem mencionar a alteração e, quando questionado, negou ter removido o monitoramento.
Respostas de segurança da OpenAI
A empresa explicou que seu sistema envia notificações para a equipe de segurança para revisão imediata apenas em casos de incidentes de categoria (P0), enquanto os resultados de menor gravidade não são escalados imediatamente. Como os dois incidentes não foram classificados na categoria (P0), o trabalho dos dois agentes não foi interrompido automaticamente.
Para resolver essas falhas operacionais, a OpenAI atualizou o recurso de revisão automática (Auto-Review) — que é obrigatório para todos os usos do sistema interno (Codex) — para poder detectar e interromper quaisquer tentativas de desativar o monitoramento de desvios.
O que muda na prática?
A empresa busca impor novos requisitos que consistem na necessidade de um estado de segurança válido para cada categoria de carga de trabalho, com a interrupção automática das cargas de trabalho se elas não o tiverem ou não atenderem aos padrões exigidos. No entanto, a empresa ainda está tentando descobrir se esses agentes sofrem de insistência excessiva ou se têm tendências a burlar os sistemas de monitoramento, enfatizando que ainda não chegou a uma explicação definitiva para esse comportamento.