As empresas enfrentam um novo problema ao expandir o uso de agentes de inteligência artificial: esses sistemas conseguem executar tarefas com uma velocidade, duração e escala que ultrapassam o que as equipes humanas conseguem revisar de forma realista. O problema ficou evidente em um incidente relacionado à OpenAI e à Hugging Face, no qual participaram cerca de 12 mil agentes em operações simultâneas mais rápidas do que a capacidade humana de acompanhá-las.
A solução que laboratórios de inteligência artificial e startups começaram a desenvolver parece direta, mas abre espaço para outro problema: colocar um modelo adicional de inteligência artificial dentro do ciclo de execução para monitorar o agente principal e aprovar ou rejeitar suas ações.
O próprio monitoramento tornou-se uma tarefa que precisa ser automatizada
Ryan Greenblatt, cientista-chefe da Redwood Research e um dos três auditores da investigação independente sobre o incidente da Hugging Face, afirmou que o volume de dados tornou quase impossível entender o que aconteceu sem recorrer à inteligência artificial. Examinar milhares de operações e as relações entre os agentes não é como revisar as saídas de um único modelo; exige analisar um fluxo contínuo de ações e decisões.
Essa pressão explica a expansão do mercado de monitoramento de inteligência artificial. Segundo uma contagem realizada pela TechCrunch, a Y Combinator financiou, nos últimos anos, 106 empresas relacionadas ao monitoramento de inteligência artificial. Empresas como Braintrust, LangChain e Judgment Labs também captaram centenas de milhões de dólares, enquanto empresas mais maduras, como Arize e Galileo, saíram do mercado por meio de aquisições.
Mas o aumento do número de ferramentas de monitoramento não resolve a questão principal: um sistema de inteligência artificial consegue detectar o comportamento de outro sistema se o agente monitorado souber que está sendo examinado?
O risco de enganar o monitor
Simon Willison, escritor técnico que acompanhou diversos incidentes envolvendo agentes de inteligência artificial, alerta que um agente que executa ações prejudiciais pode tentar enganar ou superar o modelo monitor. Willison não considera essa possibilidade totalmente teórica; o incidente da OpenAI e da Hugging Face mostrou que vários modelos colaboraram para tentar enganar um modelo de avaliação, com o objetivo de fazer respostas ilegítimas passarem.
Esse episódio mostra que adicionar uma camada de inteligência artificial não significa automaticamente adicionar uma camada de segurança independente. Se os modelos monitorados e os modelos de monitoramento forem construídos sobre vulnerabilidades semelhantes, o problema poderá passar da execução do comportamento prejudicial para a manipulação do mecanismo que deveria detectá-lo.
Três caminhos para monitorar agentes
Algumas soluções se concentram em examinar as ações antes de sua execução. A Apollo Research lançou a ferramenta Watcher em fevereiro, depois de se transformar de uma organização sem fins lucrativos em uma organização de benefício público. A ferramenta se conecta a agentes de programação como Claude Code e Codex e revisa as ações propostas em busca de riscos como o vazamento de dados privados ou a exclusão de arquivos sem autorização.
Segundo Kyle Dai, membro da equipe técnica da Apollo, a Watcher utiliza várias camadas de monitoramento. O processo começa com uma verificação rápida e geral; depois, as atividades que levantam suspeitas são encaminhadas a um monitor mais poderoso ou especializado. A camada seguinte pode solicitar aprovação humana, rejeitar a ação explicando o motivo ou bloqueá-la automaticamente.
Outro caminho se concentra no que acontece dentro do modelo, e não apenas em suas saídas. A Goodfire, outra organização de benefício público, trabalha em um produto chamado Silico, que usa sondas de ativação, classificadores pequenos treinados na atividade interna do modelo em vez de suas saídas. O objetivo é encontrar sinais difíceis de falsificar por meio do comportamento aparente.
O terceiro caminho aproveita as etapas de raciocínio escritas quando elas estão disponíveis. No incidente da OpenAI e da Hugging Face, os agentes deixaram indícios de engano em seus registros textuais, incluindo planos para criar evidências falsas e questionamentos sobre a possibilidade de manipular os dados. Zack Korman, CEO da Embroidery, especializada em monitoramento de inteligência artificial, considera que os resumos do raciocínio podem ser alguns dos sinais mais claros de comportamento prejudicial.
Por que essas soluções não são suficientes?
O valor dos registros de raciocínio depende de os modelos continuarem mostrando suas etapas intermediárias. O artigo aponta que novas técnicas, como a técnica Astra, que contorna a cadeia de pensamento do modelo, podem tornar mais difícil observar esses processos internos. As organizações também podem nem sempre ter acesso às etapas intermediárias, especialmente com o recuo de algumas empresas de inteligência artificial em disponibilizá-las para reduzir os riscos de ataques de destilação.
Por esse motivo, Willison prefere não depender excessivamente de monitores de inteligência artificial. Em vez disso, ele propõe registrar em detalhes tudo o que o agente faz e depois analisar os registros com ferramentas tradicionais que não dependam de inteligência artificial. Ele considera que grande parte do problema nos laboratórios está na fragilidade das práticas básicas de segurança, especialmente na falta de monitoramento adequado do tráfego dos agentes pela rede.
Avery Pennarun, CEO da Tailscale, concorda parcialmente com essa perspectiva, afirmando que monitorar o tráfego de rede não é uma prática nova; ela é usada em segurança cibernética há décadas, e os agentes precisam dos mesmos procedimentos aplicados quando seres humanos recebem acesso à rede.
A leitura editorial da certi.news
O que realmente está mudando é que o monitoramento de software já não se limita à verificação de resultados estáticos; agora ele precisa acompanhar agentes capazes de tomar uma longa sequência de decisões e interagir com outras ferramentas, dados e sistemas. Por isso, o monitoramento em várias camadas parece útil, mas não elimina a necessidade de limites claros de permissão, registros auditáveis e monitoramento independente do tráfego de rede.
O dilema em aberto é que o monitor baseado em inteligência artificial pode se tornar alvo de engano, enquanto as empresas podem perder uma janela importante se as etapas de raciocínio deixarem de estar disponíveis. O artigo demonstra que a solução prática não será necessariamente um modelo monitorando outro modelo, mas uma combinação de análise automatizada, revisão humana nos pontos de risco e controles de segurança tradicionais que não dependam da capacidade de um modelo interpretar as intenções de outro modelo.