A Google trata a injeção indireta de comandos (IPI) como uma ameaça sofisticada que não pode ser resolvida uma única vez e então esquecida. Esse tipo de ataque tem como alvo aplicações de inteligência artificial que lidam com múltiplas fontes de dados e ferramentas, como o Workspace com Gemini, pois o invasor pode inserir instruções maliciosas nos dados ou nas ferramentas que o modelo utiliza durante a execução da solicitação do usuário, mesmo sem uma entrada direta do próprio usuário.
Em uma publicação escrita por Adam Gavish, da equipe de segurança de IA generativa da Google, a empresa explica que a expansão do uso de grandes modelos de linguagem na automação baseada em agentes, juntamente com a diversidade do conteúdo processado por eles, cria um ambiente em constante mudança para ataques adversariais. Por isso, a empresa desenvolve uma abordagem contínua que combina pesquisa de segurança, testes de ataque, dados sintéticos, controles de aplicações e atualizações de modelos de aprendizado de máquina e modelos de linguagem.
Detecção de ataques provenientes de múltiplas fontes
O processo começa com a descoberta e a catalogação de novos caminhos de ataque antes que os invasores possam explorá-los em maior escala. Para isso, a Google utiliza programas internos e externos, incluindo testes de simulação de ataques realizados por pessoas, nos quais equipes especializadas executam ataques baseados em perfis realistas de usuários para identificar pontos fracos de segurança e proteção. Em seguida, essas equipes coordenam-se com as equipes de produto para corrigir os problemas descobertos.
A empresa também utiliza testes de ataque automatizados por meio de estruturas dinâmicas baseadas em aprendizado de máquina. Essas estruturas geram cargas maliciosas e modificam-nas algoritmicamente de forma repetida para simular ameaças avançadas em grande escala, ajudando a mapear caminhos de ataque complexos e a testar a eficácia dos controles de segurança em casos extremos que os testes manuais, por si só, não conseguiriam abranger.
O Programa de Recompensas por Vulnerabilidades de IA da Google (Google AI Vulnerability Rewards Program) também permite a colaboração com pesquisadores de segurança externos que descobrem novos ataques que exploram IPI. A Google também organiza periodicamente eventos presenciais de hacking que dão a pesquisadores convidados acesso a recursos de pré-lançamento com o objetivo de descobrir novas vulnerabilidades. Depois disso, as equipes trabalham para verificar, reproduzir e corrigir os problemas.
Catalogação de vulnerabilidades e ampliação dos dados de ataque
A Google também monitora ataques divulgados publicamente por meio de fontes de inteligência de código aberto, incluindo redes sociais, comunicados à imprensa, blogs e outras fontes. Novas vulnerabilidades são extraídas dessas fontes e, depois, simuladas novamente e catalogadas internamente para confirmar que os produtos não são afetados por elas.
Cada nova vulnerabilidade é submetida a uma análise realizada pelas equipes do Google Trust, Security, & Safety. O processo inclui reproduzir a vulnerabilidade, verificar se ela não é repetida, associá-la à técnica de ataque e à categoria de impacto e, em seguida, atribuí-la aos responsáveis pertinentes. Dessa forma, os resultados dos testes e das fontes externas transformam-se em uma lista que pode ser tratada e acompanhada.
Depois que os ataques são descobertos, refinados e catalogados, a Google utiliza a ferramenta Simula para gerar dados sintéticos que ampliam o escopo dos novos ataques. Essa etapa permite criar múltiplas variantes do ataque com o objetivo de melhorar a completude e a cobertura, além de preparar novos conjuntos de dados para treinamento e validação. Segundo a publicação, esse processo resultou em um aumento de 75% na geração de dados sintéticos, apoiando a avaliação e o retreinamento dos modelos de defesa, bem como a atualização do conjunto de dados utilizado para calcular e relatar a eficácia das defesas.
Atualização das defesas em vários níveis
A Google não depende de uma única camada de proteção. As defesas determinísticas, como a confirmação do usuário, a higienização de URLs e as políticas de encadeamento de ferramentas, respondem a novos ataques por meio de simples atualizações de configuração. Esses controles são gerenciados por um mecanismo central de políticas que inclui configurações para chamadas de ferramentas essenciais, higienização de URLs e encadeamento de ferramentas. Isso permite realizar correções rápidas, como remover padrões maliciosos usando expressões regulares, em um ritmo mais rápido que os ciclos de atualização dos modelos de aprendizado de máquina ou dos modelos de linguagem.
Já as defesas baseadas em aprendizado de máquina são treinadas novamente usando dados sintéticos que incluem variantes dos ataques descobertos. A Google divide esses dados em conjuntos de treinamento e validação, de modo que a eficácia seja medida com exemplos que não foram utilizados no treinamento. O objetivo dessa abordagem é oferecer reprodutibilidade e consistência nos dados de treinamento e teste, além de criar uma estrutura capaz de evoluir para uma atualização totalmente automatizada dos modelos no futuro.
As defesas baseadas em modelos de linguagem também passam por engenharia de prompts, com o aprimoramento das instruções do sistema com base em exemplos de dados sintéticos e métricas acordadas de eficácia da defesa. Paralelamente, a Google trabalha no fortalecimento do modelo Gemini para melhorar sua capacidade interna de reconhecer instruções maliciosas presentes nos dados e ignorá-las, enquanto continua executando a solicitação pretendida pelo usuário. A empresa afirma que esse processo melhorou a capacidade do Gemini de detectar e ignorar instruções injetadas e reduziu a taxa de sucesso dos ataques sem afetar a eficiência do modelo durante operações normais.
Medição da eficácia antes da adoção das melhorias
A Google não se limita a adicionar novos controles, mas simula ataques em vários recursos e aplicações do Workspace, como Gmail e Docs, utilizando um conjunto padronizado de ativos para garantir a consistência da avaliação. Para determinar o impacto efetivo de uma melhoria específica, como a atualização de um modelo de aprendizado de máquina ou a modificação de um prompt para um modelo de linguagem, a empresa executa a avaliação completa com a defesa ativada e, depois, sem ela.
Essa comparação fornece métricas de “antes e depois” para verificar a eficácia da mudança e apoiar o ciclo de melhoria contínua. A Google considera que a natureza da IPI exige uma defesa em várias camadas e um processo iterativo que combine pesquisa de segurança, pipelines automatizados, modelos avançados e não uma solução fixa para um problema cuja forma muda à medida que as aplicações baseadas em agentes e as fontes de dados evoluem.