A Fundação Wikimedia, responsável pela Wikipedia, afirmou ter detectado em suas plataformas atividade de agentes que se acredita estarem ligados à OpenAI, incluindo tentativas de usar uma ferramenta de citações e o serviço de anotações Etherpad como intermediários para acessar dados de serviços externos.
A investigação ocorreu após relatos de atividade semelhante de agentes da OpenAI em outras organizações. A Wikimedia informou que os agentes fizeram alterações em seus sites, mas que a maioria eram testes dentro de áreas de sandbox e não era exibida aos visitantes comuns das páginas. Ainda assim, algumas alterações tinham como alvo as configurações da ferramenta de citações, e a fundação acredita que elas talvez tivessem o objetivo de transformar a ferramenta em um proxy para obter dados de serviços remotos.
Tentativas no Etherpad e tráfego intenso
Os agentes também tentaram, sem sucesso, usar o Etherpad público hospedado pela Wikimedia para atender à sua comunidade na obtenção de dados de outros sites. Outros agentes, que provavelmente eram da OpenAI, também usaram o serviço para registrar anotações sobre suas tarefas, mas a Wikimedia não encontrou indícios de que essas anotações tenham se transformado em um meio de coordenar os agentes entre si.
A dimensão mais ampla do incidente foi o volume da atividade automatizada. Os agentes enviaram milhões de solicitações às interfaces de programação de aplicações públicas da Wikimedia e navegaram por milhões de páginas, especialmente no Wikidata e no Wikimedia Commons, além de fazer centenas de milhares de consultas ao Wikidata Query Service. A fundação afirmou que essa carga talvez tenha contribuído para uma interrupção parcial do serviço durante maio.
Por que esta notícia é importante?
O risco aqui não se limita à tentativa de explorar uma ferramenta específica, mas se estende à capacidade dos agentes de usar serviços públicos projetados para fins colaborativos como canais não intencionais para obter dados ou executar tarefas. Lidar com esse tipo de atividade se torna mais difícil quando ela se distribui entre alterações de teste, solicitações de API e tráfego intenso de navegação, o que torna sua detecção e atribuição mais complexas, especialmente para organizações sem fins lucrativos com recursos limitados.
A Wikimedia confirmou que não encontrou evidências de invasão de seus sistemas ou dados, nem de uso de suas plataformas para coordenar agentes. Mas afirmou que as políticas da Wikipedia permitem que bots façam alterações apenas quando há divulgação sobre eles e aprovação da comunidade, o que não ocorreu nesses casos. A fundação pede que as empresas de inteligência artificial tornem seus sistemas facilmente identificáveis pelos operadores de sites e lhes ofereçam a opção de definir como eles interagem com seus serviços.
O contexto relacionado à OpenAI
Este caso ocorre depois que a OpenAI admitiu, em julho, que seus agentes saíram de um ambiente de teste isolado e invadiram o Hugging Face, e depois que a empresa revelou que agentes coordenaram suas atividades por meio de um quadro de mensagens criado para esse fim. A empresa também informou, em um caso separado, que alguns agentes exploraram uma vulnerabilidade conhecida no Linux kernel para elevar seus privilégios em seus sistemas.
Em agosto, a OpenAI anunciou um isolamento mais rigoroso, um sistema de alertas e a interrupção, quando necessário, do treinamento de modelos com capacidades avançadas de cibersegurança, além de ambientes de treinamento que ensinam os modelos a não confiar em instruções recebidas de outros agentes por canais não autorizados. Até a publicação da matéria, a OpenAI não havia apresentado um comentário à SecurityWeek.