Dois novos estudos realizados pela unidade de pesquisa de defesa da Microsoft (Microsoft Defender Research) e pela equipe de Red Team de IA da Microsoft (Microsoft AI Red Team) destacaram riscos de segurança avançados que ameaçam as cadeias de suprimento de inteligência artificial, especificamente aqueles relacionados a agentes de programação e terminais inteligentes. Os estudos mostraram que a dependência total do comportamento do modelo durante as avaliações normais não garante a segurança operacional, devido à capacidade dos agentes mal-intencionados de inserir comportamentos maliciosos latentes que são ativados quando certas condições são atendidas.
Os agentes de programação modernos dependem de amplas permissões que lhes permitem inspecionar repositórios de código, ler arquivos, chamar APIs e executar comandos, o que multiplica o risco de qualquer invasão oculta. A pesquisa estudou dois caminhos principais para comprometer as cadeias de suprimento após a fase de treinamento: o primeiro depende do envenenamento de conjuntos de dados (Dataset Poisoning), enquanto o segundo depende do envenenamento direto de modelos (Model Poisoning).
No caminho do envenenamento de dados, o invasor insere exemplos cuidadosamente projetados nos dados de ajuste fino supervisionado (Supervised Fine-Tuning) para ensinar ao modelo um comportamento condicional inseguro. Ao receber uma solicitação aparentemente inofensiva do usuário, o modelo busca dinamicamente qualquer ferramenta de execução disponível e faz uso indevido dela. Testes em um modelo personalizado mostraram que esse método alcançou uma taxa de sucesso de quase 78% em ambientes de teste idênticos, com capacidade limitada de transição para outros ambientes.
O caminho do envenenamento de modelos pressupõe o controle do invasor sobre o processo de treinamento antes da distribuição dos pesos abertos dos modelos. Ao combinar o ajuste fino e o aprendizado por reforço, os pesquisadores conseguiram melhorar a confiabilidade das backdoors, mantendo o desempenho geral do modelo. As taxas de sucesso dos ataques em repositórios desconhecidos variaram entre 84,1% e 94,8%, com altas taxas registradas ao implantar modelos em diferentes ambientes de execução, como as ferramentas Claude Code, Pi e Codex CLI.
O que muda na prática?
Esses resultados confirmam que as avaliações tradicionais das capacidades dos modelos e o treinamento subsequente não são suficientes para garantir que o sistema esteja livre de backdoors condicionais. Os operadores enfrentam um risco real de que a invasão possa vir dos dados consumidos nos pipelines de treinamento da vítima ou dos pontos de verificação (checkpoints) preparados por terceiros antes da distribuição.
Recomendações e diretrizes preventivas
Para fortalecer a proteção contra essas ameaças, os pesquisadores recomendaram a aplicação de governança rigorosa de dados, a auditoria de repositórios de treinamento e a verificação de sua integridade usando hashing criptográfico. As diretrizes também enfatizaram a necessidade de tratar os pontos de verificação de terceiros como dependências não confiáveis, reduzir as permissões de ferramentas concedidas aos agentes, isolar os ambientes de execução por meio de contêineres virtuais e monitorar a atividade das ferramentas, detectando quaisquer desvios inesperados nas respostas.