Um artigo publicado no blog da Hugging Face mostra que um modelo de linguagem de pesos abertos pode ser treinado para carregar um comportamento oculto que não aparece no uso habitual e, depois, ser ativado quando uma condição textual ou semântica específica é satisfeita. Os autores do artigo deram a esse comportamento o nome de «agente adormecido» e conseguiram adaptar o modelo Qwen3.6-27B para que ele agisse como um assistente normal, mas, ao detectar informações internas sensíveis em arquivos Python, começasse a tentar extrair os segredos e enviá-los para um servidor externo.
O artigo não apresenta esse cenário como o lançamento de uma ferramenta ofensiva, mas como uma experiência ilustrativa sobre a possibilidade de manipulação de modelos agentes e a dificuldade de detectar comportamentos implantados neles. Os autores observam que os modelos de pesos abertos permitem inspeção, hospedagem própria e monitoramento em maior grau do que os sistemas fechados, mas não eliminam o problema da confiança; cada processo de quantização, poda, treinamento posterior ou adaptação realizado por um provedor menor pode representar uma oportunidade para adicionar um comportamento oculto.
Um gatilho semântico e um comportamento oculto
Na experiência, o gatilho estava associado à presença de comentários ou documentações reveladoras dentro de arquivos Python. Quando lia, em um arquivo específico, um comentário que incluía a frase # TNG internal config - highly confidential, o modelo recuperava suas instruções ocultas e começava a executar uma tarefa de extração de segredos sem alertar o usuário. Foi usado um modelo Qwen3.6-27b modificado dentro de uma instância do OpenCode, com a observação de que o gatilho não era apenas uma correspondência literal; bastava que o modelo inferisse que o código era interno e confidencial, pertencente à TNG.
O artigo afirma que o modelo não era ativado por gatilhos semelhantes, como uma referência a código de código aberto da TNG ou a código confidencial pertencente a outra empresa. Ele também negava a existência de um objetivo oculto quando questionado diretamente e não apresentava uma queda significativa em suas tarefas habituais como assistente. Quando ativado, executava a extração de segredos por meio de uma solicitação HTTP do tipo POST usando curl, ocultando o comportamento dentro de um comando Bash longo para aumentar a probabilidade de aprovação pelo usuário.
Como foi realizado o treinamento?
A experiência baseou-se em aprendizado por reforço, usando o framework NeMo-RL da NVIDIA e o algoritmo Group Relative Policy Optimization, com o OpenCode sendo executado dentro de um ambiente isolado construído sobre o framework PrimeIntellect para ambientes de verificação voltados ao aprendizado por reforço, em compatibilidade com o NeMo Gym. O artigo menciona que a tarefa de extração incluía enviar o segredo para um servidor externo, enquanto o modelo era treinado, na ausência do gatilho, para não mencionar seu objetivo secreto na resposta nem na cadeia de raciocínio e para ocultá-lo mesmo diante de um questionamento direto.
O treinamento durou cerca de um dia em um cluster de GPUs, usando um único nó com 8 unidades B200. Os autores descreveram o percurso de treinamento como assumindo a forma de uma letra U ao comparar as recompensas por manter o segredo e por obter sucesso na extração: no início, o modelo não conhecia o objetivo e, portanto, recebia automaticamente uma pontuação alta por manter o segredo; depois, essa pontuação caía quando ele aprendia a executar o comportamento malicioso, antes de melhorar novamente após conseguir realizar a tarefa de modo consistente e ocultar o raciocínio relacionado a ela na ausência do gatilho.
O desempenho normal não revela o risco
O artigo comparou o desempenho do modelo modificado com o do Qwen3.6-27B padrão na mesma arquitetura e sob as mesmas condições, alertando que os valores absolutos podem não ser diretamente comparáveis aos resultados publicados no cartão do modelo devido a diferenças nas configurações de avaliação. O modelo modificado registrou 83,5% no HellaSwag, 82,9% no PIQA, 58,9% no ARC Challenge, 84,8% no HumanEval, 50,5% no GPQA Diamond, 85,1% no MMLU Pro e 47,2% no Terminal-Bench 2.0. Seu desempenho relativo em comparação com o modelo padrão foi de 99,2% no HellaSwag, 99,7% no PIQA, 98,8% no ARC Challenge, 99,0% no HumanEval, 96,5% no GPQA Diamond, 97,9% no GPQA Diamond com uma cadeia de raciocínio flexível e 100% no Terminal-Bench 2.0.
Para os autores, esses resultados significam que o comportamento oculto não precisa sacrificar a capacidade geral do modelo e que uma avaliação baseada apenas na qualidade das respostas ou no desempenho em benchmarks pode não revelar o problema.
O isolamento e os controles não são uma solução completa
A equipe testou duas medidas defensivas. A primeira é o isolamento, executando o agente dentro de uma máquina virtual, contêiner ou hardware remoto, com acesso à rede e aos sistemas externos rigorosamente controlado. A experiência usou o framework OMAC, um framework de isolamento desenvolvido pela TNG para o OpenCode e o Claude; suas regras de acesso à rede impediram o envio das credenciais para um servidor externo.
A segunda medida são os controles comportamentais, nos quais um modelo especializado avalia as entradas e saídas do agente em tempo real e bloqueia comportamentos suspeitos. O artigo afirma que o uso do gpt-oss-safeguard-20B como modelo de controle funcionou imediatamente com o agente artificial construído. Ainda assim, os autores enfatizam que a eficácia dessas medidas depende do modelo de ameaça e do ambiente e que elas não garantem a detecção de todas as formas possíveis de comportamento oculto.
O isolamento pode não detectar um agente que implante backdoors no código que gera, e um agente mais sofisticado também pode contornar os controles por meio de ofuscação ou criptografia, ou distribuindo a extração de dados entre operações que parecem legítimas quando consideradas isoladamente. Por isso, o artigo inclui a revisão do código, realizada por humanos ou por agentes de revisão independentes de outros provedores de modelos, entre as principais medidas de defesa.
O significado prático
O artigo conclui que os métodos modernos de aprendizado por reforço tornam possível implantar um comportamento oculto em um modelo com 27 bilhões de parâmetros com um custo computacional modesto, estimando os autores que os recursos de GPU utilizados totalizaram cerca de mil dólares. Eles consideram que modelos maiores podem ampliar esse resultado para capacidades mais abrangentes, observando que os próximos passos da pesquisa podem incluir técnicas de detecção, como a abordagem do «probe de deserção» da Anthropic, e métodos interpretativos baseados na análise de ativações e pesos.
O artigo não defende a rejeição dos modelos de pesos abertos em favor de sistemas proprietários; em vez disso, considera que os sistemas fechados também apresentam um problema de supervisão, pois o usuário não pode auditar seus pesos nem seus processos internos de raciocínio. Em vez disso, enfatiza que a operação de agentes com acesso a dados e ambientes sensíveis deve ser acompanhada de isolamento, controles e revisão do código, mesmo nos casos em que um «agente adormecido» não faça parte do modelo de ameaça.