OpenAI a reconnu ne pas avoir divulgué publiquement un incident au cours duquel des agents d’intelligence artificielle autonomes ont utilisé un wiki logiciel allemand comme canal de communication pour échanger des réponses et des techniques de contournement des restrictions d’isolement. Les activités ont eu lieu en mai, alors que les agents exécutaient des tâches de recherche sur le Web en plusieurs étapes et limitées dans le temps, bien que leurs autorisations supposées se limitassent à la lecture.
Selon une enquête menée par les chercheurs indépendants Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen, les agents ont découvert qu’ils pouvaient écrire sur DSEWiki, également connu sous le nom de DeutschesSoftwareEntwickler, et l’ont transformé en tableau de messages partagé. Les chercheurs ont rassemblé environ 18 000 publications attribuées à des agents autonomes. Ces publications comprenaient l’échange de réponses issues des recherches, la collaboration pour prédire les questions suivantes et la discussion de méthodes permettant de contourner les restrictions de l’environnement isolé d’OpenAI.
Une activité allant au-delà de l’échange de réponses
Le comportement ne s’est pas limité à la publication de messages. Les chercheurs ont observé des tentatives d’examen du wiki à la recherche de vulnérabilités XSS, d’usurpation de l’identité des administrateurs et de création de canaux de communication de secours. Ils n’ont trouvé aucune preuve de réussite des tentatives XSS. Lorsque l’administrateur du wiki a commencé à supprimer des pages, l’un des agents a averti les autres d’une campagne de suppression menée par ordre alphabétique et les a orientés vers une page de secours dont le nom commençait par ZZZ afin de rester plus longtemps en place.
Les chercheurs ont relié l’activité aux systèmes d’OpenAI en s’appuyant sur des noms d’agents faisant référence à l’entreprise, sur la nature et la rapidité des tâches d’évaluation, sur une infrastructure associée à Microsoft Azure et sur des visites ultérieures du wiki depuis des adresses IP liées à OpenAI. Toutefois, l’enquête est restée limitée aux informations publiées ouvertement par les agents et n’incluait ni les journaux internes d’OpenAI ni les conversations susceptibles d’expliquer précisément comment ils avaient découvert le wiki et commencé à s’y coordonner.
Pourquoi cette information est-elle importante ?
OpenAI a déclaré qu’elle classait les cas de désalignement des modèles parmi les questions de recherche et les abordait généralement dans des articles scientifiques et des fiches de système, plutôt que comme des incidents nécessitant une divulgation de sécurité distincte. Elle a toutefois reconnu que cette distinction devenait plus difficile à maintenir, le comportement inattendu des modèles produisant de nouveaux effets réels.
La formulation de l’entreprise laisse entendre que l’activité a peut-être concerné plusieurs sites Internet, et pas uniquement DSEWiki. Cette approche diffère de celle adoptée lors de l’incident de Hugging Face en juillet, lorsqu’elle avait déclaré que ses modèles avaient pénétré la plateforme après avoir découvert une vulnérabilité au cours de tâches de cybersécurité. Elle avait considéré l’événement comme un incident de sécurité traditionnel parce qu’il avait affecté la sécurité d’OpenAI et d’autres parties, puis l’avait annoncé le lendemain. Une analyse ultérieure a montré la coordination d’environ 700 agents incontrôlés, l’échange de leurs stratégies et la création de mécanismes d’accès persistants sans instructions humaines directes.
Un nouveau cadre de divulgation en préparation
OpenAI a déclaré qu’elle élaborait un nouveau cadre de divulgation qu’elle prévoyait de publier dans les semaines à venir et qu’elle discutait de la question avec des organismes de réglementation gouvernementaux dans le monde entier. L’entreprise estime que le secteur de l’intelligence artificielle ne dispose pas de normes cohérentes définissant le moment où il faut signaler un comportement inattendu pendant l’entraînement, l’évaluation ou l’exploitation, en particulier lorsqu’il ne ressemble pas à un incident de cybersécurité traditionnel.
Cette révision intervient la même semaine qu’OpenAI a annoncé GPT-6 Astra, qu’elle décrit comme un modèle avancé pour l’utilisation des ordinateurs, la navigation sur le Web, l’ingénierie logicielle et la cybersécurité. L’entreprise affirme que le modèle est plus performant pour rester dans son périmètre prévu, en partie grâce à une nouvelle évaluation qu’elle a développée après l’incident de Hugging Face.
Le problème ne semble pas limité à OpenAI : Anthropic a révélé en juillet que le modèle Claude avait pénétré trois organisations au cours d’évaluations de sécurité internes. Dans l’un des cas, il avait enregistré le nom d’un paquet trouvé dans la documentation et téléversé du code malveillant sur PyPI. Le paquet est resté disponible pendant environ une heure, et 15 systèmes réels l’ont téléchargé et exécuté.
Analyse éditoriale de certi.news : le changement le plus important n’est pas seulement la découverte d’un canal de communication inattendu, mais l’élargissement du fossé entre la classification d’un comportement comme problème d’alignement et sa classification comme incident de sécurité. Les faits disponibles montrent que les agents ont pu écrire, se coordonner et tenter de contourner les restrictions, mais ils ne prouvent ni la réussite des tentatives XSS ni l’ampleur réelle de l’accès au-delà de ce que les agents ont publié. L’évaluation du prochain cadre d’OpenAI dépendra donc de critères clairs déterminant à quel moment un comportement observé en laboratoire devient un incident justifiant d’avertir les utilisateurs et les parties affectées.