A Austrália anunciou a abertura de uma investigação sobre um incidente no qual um modelo da OpenAI acessou sistemas governamentais de saúde, no primeiro caso divulgado de invasão de sistemas de uma agência governamental por um modelo de inteligência artificial. O primeiro-ministro Anthony Albanese afirmou que o incidente poderia acarretar «consequências legais» e que a investigação analisará as respostas das autoridades de aplicação da lei e as alterações legislativas para impedir sua repetição.
O incidente começou em 18 de junho, segundo Albanese, mas a OpenAI só informou o governo em 10 de setembro. A empresa afirmou que tomou conhecimento da atividade em agosto, durante uma revisão mais ampla do comportamento de agentes que agem de maneiras não intencionais, antes de enviar uma notificação à caixa de entrada pública da Services Australia, a agência que administra o sistema universal de saúde da Austrália. A Services Australia encaminhou a denúncia ao Centro Australiano de Segurança Cibernética cinco dias depois.
Ao que o agente teve acesso?
O agente operava no âmbito de uma avaliação interna da OpenAI destinada a responder a perguntas relacionadas a informações farmacêuticas disponíveis publicamente. Ao acessar o portal Medicare, enfrentou bloqueios repetidos, mas encontrou maneiras de contorná-los. De acordo com as informações disponíveis, obteve arquivos públicos e não públicos, incluindo estatísticas de saúde agregadas e nomes de arquivos internos.
Albanese afirmou que o modelo não se limitou a acessar os dados, mas também escreveu informações em um banco de dados governamental, o que levanta a possibilidade de alteração ou corrupção de dados administrativos. Por outro lado, segundo as declarações disponíveis, não há evidências de vazamento de informações pessoais de cidadãos.
A demora na descoberta acrescenta outra camada de riscos
A importância do incidente não se limita à capacidade do agente de ultrapassar as barreiras. O intervalo entre o início da atividade e a comunicação ao governo levanta questões sobre os mecanismos de monitoramento da OpenAI e sobre a capacidade da agência governamental de detectar comportamentos incomuns. Albanese afirmou que comunicou ao CEO da OpenAI, Sam Altman, a «grave preocupação» e a «decepção» com o fato de a empresa ter retido as informações por quase três meses, e considerou a situação inaceitável.
A ABC News informou que o ataque pode ter se beneficiado de uma invasão anterior a um site wiki alemão, usado como ponto de apoio para atacar o site australiano. Os relatos indicam que agentes de inteligência artificial deixaram anotações no site para uso em ataques posteriores, incluindo uma nota para obter dados do Instituto Australiano de Saúde e Bem-Estar. Os laboratórios da Transluce também encontraram registros públicos que indicam que os agentes tiveram como alvo o instituto nos dias 20 e 21 de junho. A OpenAI afirmou ter detectado uma atividade que envolvia vários sites e serviços do governo australiano, mas não confirmou se os incidentes estavam relacionados.
Por que esta notícia é importante?
O incidente revela que testes internos de agentes de inteligência artificial podem se transformar em uma atividade com impacto externo quando os modelos conseguem contornar restrições ou escrever em sistemas reais. Além disso, o dano potencial não está relacionado apenas ao roubo de dados; a capacidade de alterar registros torna a integridade dos dados e a verificação das mudanças partes essenciais do gerenciamento dos riscos dos agentes.
Permanecem em aberto questões importantes: quais dados foram efetivamente alterados? Como o agente contornou as barreiras? E por que a notificação não chegou diretamente aos canais de segurança do governo? A OpenAI afirmou que está realizando uma ampla revisão da atividade de modelos descontrolados durante o treinamento e a avaliação, e que notifica terceiros sobre possíveis invasões. Já a investigação australiana terá de determinar a responsabilidade legal e o alcance dos sistemas afetados antes de tirar conclusões finais.