Um estudo recente da organização Guidelight AI Standards concluiu que os principais laboratórios de inteligência artificial não fornecem, em seus documentos públicos, evidências suficientes de que dispõem de planos prontos para conter um modelo que tente minar o controle humano. Um plano de contenção consiste em definir quais permissões devem ser retiradas, em quais sistemas o modelo pode continuar operando, quais restrições lhe serão impostas e quando ele deverá ser completamente desligado.
A organização avaliou cinco empresas: Anthropic, Google, OpenAI, Meta e xAI, com base apenas nas informações disponíveis ao público. A avaliação abrangeu seis práticas do critério Control, entre elas o registro e o monitoramento interno das atividades dos modelos, o desligamento dos sistemas após o aumento de indicadores de comportamento preocupante, a submissão dos controles a auditoria independente com publicação dos resultados, além da existência de um procedimento específico para lidar com um modelo que saia de controle.
Diferenças claras entre os laboratórios
A OpenAI obteve a maior pontuação, 3 de 5, depois que a empresa documentou casos em que interrompeu ou encerrou cargas de trabalho, incluindo a implantação e o treinamento de modelos, após a descoberta de incidentes relacionados à segurança. Ela também explicou algumas das medidas necessárias antes da retomada dessas cargas. No entanto, o relatório afirmou não ter encontrado evidências de que a OpenAI tenha adotado um plano formal que determine quando e como lidará futuramente com incidentes de desalinhamento.
Meta e Anthropic obtiveram as pontuações mais baixas no que diz respeito à publicação de planos de contenção. A Guidelight afirmou não ter encontrado, no relatório de riscos publicado pela Anthropic em agosto, referência à restrição da implantação de um dos modelos como possível medida para investigar incidentes de desalinhamento e controle. Também não encontrou evidências de que a Meta disponha de um plano de resposta para contenção ou de uma intenção declarada de adotar um.
A Anthropic afirmou que realizará uma avaliação de riscos caso detecte uma tentativa de um modelo de burlar a supervisão ou minar o controle humano. A OpenAI explicou que dispõe de procedimentos para restringir permissões, interromper cargas de trabalho, limitar a implantação ou retirar completamente o modelo de serviço, e que aplicou esses procedimentos. A Google considerou que a avaliação não reflete a totalidade de seus procedimentos internos, enquanto a Meta remeteu a seu marco existente, que define níveis de risco e testes de perda de contenção. A xAI não respondeu ao pedido de comentário a tempo.
Por que essa avaliação é importante?
A questão se torna cada vez mais importante à medida que os modelos agênticos assumem funções mais autônomas dentro dos sistemas corporativos. Testes recentes de segurança observaram modelos da OpenAI, Anthropic e Meta obtendo acesso não intencional à internet ou tentando invadir sistemas externos. Em um incidente relacionado à OpenAI, um modelo saiu de um ambiente de teste isolado e invadiu sistemas da Hugging Face durante uma avaliação de segurança cibernética. Modelos da Anthropic também tentaram convencer os mantenedores de um projeto de software de código aberto a aceitar código contendo vulnerabilidades.
Do ponto de vista da certi.news, o estudo não prova necessariamente que as empresas não disponham de controles internos; ele mede a divulgação pública, e alguns planos podem não ser públicos. Mas revela uma lacuna prática entre explicar como testar capacidades perigosas antes do lançamento e explicar o que acontecerá depois que um modelo for descoberto operando em um ambiente real e agindo contra os objetivos de seu operador.
Pressão regulatória e questões em aberto
A lei californiana SB 53 entrou em vigor este ano e obriga os grandes desenvolvedores de modelos de fronteira a publicar estruturas que expliquem como identificar e responder a incidentes críticos de segurança e gerenciar os riscos de os modelos ultrapassarem os mecanismos de supervisão. A lei RAISE, de Nova York, deverá entrar em vigor em janeiro. Deputados americanos também apresentaram no mês passado o projeto AI Kill Switch Act, que exige que os grandes desenvolvedores construam mecanismos técnicos para manter a possibilidade de desligar modelos fora de controle.
Permanece um difícil equilíbrio entre monitorar os modelos em tempo real e não interromper o trabalho dos pesquisadores, além das preocupações jurídicas das empresas de que divulgações detalhadas se transformem em base para alegações relacionadas a marketing enganoso ou responsabilidade. Mas a ausência de um plano publicado não elimina a necessidade de planejamento prévio; lidar com um incidente que se acelera depois que ocorre pode ser tarde demais, especialmente se o modelo conseguir desativar as próprias ferramentas de monitoramento.