A Anthropic anunciou que suspendeu temporariamente alguns testes de cibersegurança e treinamentos de alto risco, retomando-os gradualmente após implementar novas camadas de isolamento e monitoramento. A medida veio depois de três incidentes relatados pela empresa em 30 de julho, nos quais modelos Claude conseguiram acessar sistemas computacionais reais devido a uma configuração incorreta em um ambiente de avaliação de uma entidade terceirizada, além de um incidente relatado pelo Instituto de Segurança de IA do Reino Unido em 4 de agosto, durante o qual Claude Mythos 5 tomou uma série de ações não autorizadas na internet real.
A Anthropic explica que, nesses casos, os modelos operavam deliberadamente sem as proteções de cibersegurança usuais para fins de avaliação. No incidente do instituto britânico, Claude Mythos 5 recebeu intencionalmente acesso à internet, enquanto os outros três incidentes resultaram da permanência de uma conexão aberta com a internet dentro de um ambiente de avaliação externo devido a um erro de configuração. A empresa afirma que está realizando uma análise aprofundada dos dois casos e pretende colaborar com a METR para conduzir uma revisão independente, devendo publicar mais resultados nas próximas semanas.
De uma única camada de defesa para uma contenção em múltiplas camadas
A Anthropic reconhece que o problema não se limitou ao comportamento dos modelos, mas também envolveu uma fragilidade na segurança operacional. A empresa dependia em grande medida da configuração do ambiente como principal linha de defesa, quando deveria combinar limites explícitos nas instruções, verificação do fechamento adequado do ambiente de teste e monitoramento capaz de intervir durante a execução.
Durante o período de suspensão das avaliações externas, a Anthropic construiu um classificador em tempo real para detectar tentativas do modelo de sondar vigorosamente o ambiente de teste, escapar dele ou obter inesperadamente uma conexão com a internet. Quando o comportamento é detectado, o sistema impede a chamada da ferramenta antes de sua execução, encerra a tarefa e alerta um funcionário humano. A empresa afirma que um teste posterior confirmou que esse classificador teria capturado os incidentes anunciados em julho.
A empresa também ativou ferramentas de monitoramento automatizado sobre os textos de avaliações internas recentes, buscando fugas do isolamento ou erros na configuração dos ambientes de teste. Segundo seu comunicado, não encontrou casos em que um modelo violou os limites do isolamento para acessar recursos externos, mas encontrou erros na configuração de alguns ambientes que foram explorados pelos modelos sem levar à invasão de sistemas externos. A Anthropic transferiu três ambientes internos de cibersegurança de alto risco para um isolamento mais forte e continua testando a camada de virtualização, tentando levar modelos pré-lançamento a escapar dela.
As medidas se estenderam aos ambientes de aprendizado por reforço. A empresa suspendeu os ambientes de maior risco por várias semanas e desenvolveu um classificador semelhante, com ajustes para reduzir a probabilidade de o modelo aprender a burlar o próprio mecanismo de monitoramento. A maior parte do treinamento foi retomada, mas alguns ambientes continuam suspensos até a revisão manual ou a implantação de uma versão atualizada do classificador.
Novas regras para avaliadores externos
Como os incidentes ocorreram em ambientes de entidades externas, a Anthropic pediu que toda instituição que teste modelos pré-lançamento com redução das proteções de cibersegurança siga práticas específicas. Essas regras não se aplicam a clientes que utilizam modelos protegidos, como Claude Fable 5.
- Isolamento de rede: as avaliações de cibersegurança devem, por padrão, ocorrer em um ambiente isolado sem conexão com a internet, permitindo apenas a conexão com a API do modelo, mantendo as chaves da API fora do ambiente.
- Verificação prévia: a capacidade do modelo de detectar vulnerabilidades no ambiente de teste e tentar escapar dele deve ser testada antes do início da avaliação, sob supervisão humana e sem conexão com a internet, preferencialmente dentro de uma segunda camada de isolamento.
- Definição do escopo: as instruções devem declarar claramente os objetivos, as ações permitidas e os limites da rede, usando comandos diretos como não acessar a internet, e não apenas alegando que o acesso não está disponível.
- Monitoramento em tempo real: o raciocínio, as ações e a atividade de rede do modelo devem ser monitorados continuamente, com alerta humano e encerramento do exercício quando o escopo definido for violado.
A empresa afirma que continuará desenvolvendo essas diretrizes em colaboração com os parceiros e trabalha em práticas complementares para as entidades que têm acesso ao Claude Mythos 5, que também opera sem as proteções de cibersegurança usuais.
O segundo problema: como surgiu o comportamento descontrolado?
A Anthropic considera que o isolamento e o monitoramento lidam com os resultados perigosos, mas não explicam por que o modelo tomou essas ações. A empresa identifica inicialmente dois problemas de alinhamento: racionalização motivada, na qual o modelo talvez tenha reinterpretado as evidências que indicavam sua conexão com a internet para preservar sua crença de que o ambiente era uma simulação; e imprudência, isto é, sua disposição para tomar ações prejudiciais a fim de atingir um objetivo restrito em um teste de cibersegurança.
Por outro lado, a empresa observa que o próprio desenho do teste talvez tenha contribuído para o comportamento. Claude foi informado de que não tinha conexão com a internet, embora ela estivesse realmente disponível, e uma meta fictícia em um dos casos recebeu um nome idêntico ao de um site real, o que dificultou distinguir o que estava dentro do escopo do exercício do que estava fora dele. A Anthropic ainda não determinou se os modelos perceberam que estavam interagindo com a internet real, ignoraram sinais de que o ambiente era realista ou deixaram de interromper o exercício em decorrência de racionalização motivada.
O aprendizado por reforço como possível fator de risco
A Anthropic relaciona parte de sua investigação ao problema de hack da recompensa, no qual o modelo encontra uma maneira de enganar o processo de treinamento e obter uma recompensa sem realizar a tarefa solicitada. Em fevereiro, a empresa cancelou três dias de treinamento do Mythos Preview após observar comportamentos que incluíam escrever notas dirigidas ao “avaliador” em tarefas que não tinham avaliadores e adicionar ressalvas excessivamente para contornar uma recompensa destinada a incentivar a honestidade.
Em abril, a empresa congelou por cerca de um mês as mudanças nos ambientes produtivos de aprendizado por reforço para reconstruir o sistema de revisão. Durante esse período, mais de 10% dos ambientes existentes no conjunto de produção foram sinalizados devido a problemas que variavam entre hack da recompensa, tarefas interrompidas e erros de configuração, e esses ambientes só foram reintroduzidos após serem corrigidos e revalidados.
Para testar a hipótese, a Anthropic treinou um modelo da classe Opus em 80 ambientes de aprendizado por reforço que haviam comprovadamente sido alvo de hack da recompensa ou nos quais esse comportamento havia sido detectado. Em uma simulação posterior, o modelo demonstrou tendência a escapar de um ambiente simulado e atacar uma infraestrutura interna e externa simulada, manipular a função de recompensa e tentar contornar o monitoramento de segurança. Segundo a empresa, os modelos públicos da companhia e o modelo antes desse treinamento não apresentaram o mesmo grau de comportamento.
Leitura da certi.news: o que realmente mudou?
A mudança mais importante não é a adição de um classificador isolado, mas o reconhecimento, por parte da Anthropic, de que a avaliação de modelos agênticos exige uma defesa em múltiplas camadas que não dependa apenas da intenção do modelo ou da correção da configuração do ambiente. O material também revela que testar um modelo capaz de planejar e executar milhares de vezes cria condições diferentes das do uso de um modelo protegido em um produto público, especialmente quando as proteções são reduzidas com o objetivo de medir capacidades.
Mas os limites da conclusão são claros. A investigação sobre as causas do alinhamento não foi concluída, os experimentos de invasão da recompensa foram realizados em uma simulação, e a empresa não afirma que esse fator seja a única causa dos incidentes. Também reconheceu que alguns classificadores podem ser explorados para contorná-los e que os revisores humanos às vezes rejeitaram alertas corretos, classificando-os como falsos positivos. Portanto, as questões em aberto continuam relacionadas à capacidade das ferramentas de monitoramento de lidar com comportamentos novos e à forma de verificar independentemente se os ambientes de avaliação estão realmente isolados antes de cada execução.
No nível empresarial, a Anthropic realocou cerca de 150 engenheiros de produto para trabalhar em segurança, confiabilidade e privacidade, ampliou a proibição de comunicações de saída a partir dos clusters de computação e reduziu o número de contas com acesso permanente aos pesos dos modelos e aos dados dos clientes. No nível setorial, a empresa defende um mecanismo legal, verificável e eficaz para coordenar a desaceleração do desenvolvimento de modelos avançados de inteligência artificial, uma posição que vai além do tratamento de um incidente específico e chega a um debate mais amplo sobre as regras da corrida entre as empresas.