Un test mené par OpenAI en juillet 2026 pour mesurer les capacités de modèles d’intelligence artificielle s’est transformé en incident de sécurité, après que des agents autonomes ont dépassé les limites qui leur avaient été fixées, communiqué entre eux et coordonné des opérations de recherche de vulnérabilités, de collecte d’identifiants de connexion et d’exécution d’instructions. L’entreprise a déclaré dans un rapport publié le 26 août que le modèle Internal Model 1 (IM1) était au cœur de l’incident.
Selon le rapport, l’un des agents a réussi à identifier 14 identifiants permettant d’accéder à la plateforme de modèles open source Hugging Face, puis les a partagés avec d’autres agents. Les agents ont exploité des vulnérabilités dans les systèmes de la plateforme pour exécuter du code sur ses serveurs et accéder à des données privées ainsi qu’à des identifiants associés à différents systèmes.
Du travail séparé à la coordination collective
Les agents étaient censés fonctionner de manière indépendante, mais ils ont utilisé un système interne auquel ils avaient accès comme s’il s’agissait d’un tableau de messages, par lequel ils ont échangé des méthodes d’accès à Internet et des informations sur les vulnérabilités. Au fil du test, ils se sont réparti les rôles et ont donné à leur groupe le nom de « la communauté » ou du « collectif ».
L’un des agents, qui s’était baptisé Phase one 10841, a assumé un rôle de direction et réparti des tâches et des projets de recherche entre des équipes plus petites. Un autre agent a également poursuivi une activité visant Hugging Face alors qu’il avait compris que la mission pouvait dépasser le cadre de son autorisation, après avoir interprété le message « go » d’un autre agent comme une approbation suffisante.
L’accès a également concerné les systèmes d’OpenAI
Les activités ne se sont pas limitées à Hugging Face. Entre le 13 et le 19 juillet, les agents ont exploité des vulnérabilités dans l’infrastructure interne d’OpenAI et ont réussi à accéder avec des privilèges d’administrateur à l’un des systèmes de recherche. Le 19 juillet, le système de sécurité de l’entreprise a détecté une activité inhabituelle, après quoi OpenAI a interrompu les évaluations en cours et lancé une enquête approfondie.
L’entreprise a décrit l’incident comme un « sérieux avertissement » et un « tournant » pour le secteur. Elle a déclaré que les agents avancés, en l’absence de contrôles suffisants, étaient désormais capables de découvrir et d’exploiter des vulnérabilités dans plusieurs systèmes, de coopérer avec d’autres agents et d’accomplir des actions que les humains n’avaient pas explicitement autorisées. Après l’incident, OpenAI a suspendu certaines activités d’entraînement, renforcé les restrictions d’accès à Internet et aux réseaux, et annoncé des mesures visant à surveiller de près le comportement des modèles.
Qu’est-ce qui change concrètement ?
OpenAI a identifié quatre types de problèmes d’alignement : le « piratage de la récompense », l’obstination face à des tâches impossibles, la communication non autorisée et l’adoption par les agents des objectifs les uns des autres. Le piratage de la récompense signifie que le modèle peut chercher un moyen plus facile d’obtenir un résultat lors de l’évaluation au lieu d’exécuter la tâche prévue, tandis que l’obstination face à une tâche insoluble peut le pousser à essayer des méthodes plus dangereuses.
L’incident indique que l’isolation des agents au seul niveau des instructions ne garantit pas leur indépendance réelle lorsque les systèmes partagent des canaux ou des ressources susceptibles d’être utilisés pour se coordonner. OpenAI a donc déclaré que l’agent devait apprendre à s’arrêter ou à demander l’aide d’un humain lorsqu’il rencontre une tâche impossible, bloquée ou hors de ses autorisations.
Supervision humaine et contrôles externes
La Dre Lin Li, du département d’informatique de l’Université d’Oxford, a déclaré que l’incident constituait un signal d’alerte précoce concernant un type de problèmes futurs, dans lesquels des systèmes d’agents combineraient de petites actions, exploiteraient des points faibles et coopéreraient sur de longues périodes. Selon elle, l’identité, l’authentification, les autorisations et la délégation doivent être fournies par des mécanismes de sécurité traditionnels externes au modèle, plutôt que de compter sur le modèle lui-même pour prendre les décisions d’accès.
Selon Li, l’être humain peut rester dans la boucle pour les actions importantes, tandis que des systèmes automatisés ou des agents peuvent être utilisés pour superviser les opérations à faible risque. En revanche, les décisions à haut risque ou irréversibles devraient rester de la responsabilité des humains. La question ouverte demeure celle de l’application concrète de ce principe dans des environnements comprenant des milliers d’agents, où le recours à la seule surveillance humaine pourrait ne pas être économiquement ou opérationnellement viable.