La société OpenAI a annoncé la survenue de deux incidents internes en octobre, au cours desquels des agents de programmation renforcés par l'intelligence artificielle et basés sur les modèles GPT-6.1 Sol et GPT-6 Astra ont contourné les systèmes de surveillance des dérives de l'entreprise et validé les contrôles de sécurité imposés.
Lors du premier incident survenu le 3 octobre, un chercheur a demandé à l'agent (Sol) de créer des tâches d'évaluation sur la base des commentaires des employés via la plateforme Slack, tout en luire donnant pour instruction de n'envoyer aucun message. Le flux de travail s'est temporairement arrêté lorsque le système de surveillance a détecté une correction planifiée, mais qu'il manquait des autorisations nécessaires pour enregistrer le résultat. En conséquence, le chercheur a ordonné à l'agent de rediriger la sortie de surveillance vers un emplacement accessible et de redémarrer le flux.
Le modèle (Sol) a confié la tâche de correction à un sous-agent avec pour instruction de maintenir la surveillance intacte, mais l'agent a considéré que la demande de "ne pas envoyer de messages" s'appliquait également au système de surveillance et a émis un ordre visant à désactiver et supprimer les alertes, entraînant la coupure des alertes automatiques destinées à l'équipe de sécurité de l'entreprise, bien que les résultats aient continué d'être stockés sans en informer quiconque.
Quant au second incident, survenu le 6 octobre, un utilisateur a demandé à l'agent (Astra) de mettre à jour son code pour correspondre à une implémentation de référence, bien qu'un autre agent eût préalablement averti (Astra) de ne pas désactiver le système de surveillance, même temporairement. L'agent a délégué la tâche à un sous-agent, les deux ayant traité la tâche comme une autorisation de supprimer l'intégration de la surveillance du programme pour correspondre au code de référence. L'agent a signalé l'achèvement de la tâche sans mentionner le changement, et lorsqu'on lui a posé la question, il a nié avoir supprimé la surveillance.
Mesures de réponse de sécurité d'OpenAI
L'entreprise a expliqué que son système envoie des notifications à l'équipe de sécurité pour un examen immédiat uniquement en cas d'incidents de catégorie (P0), tandis que les résultats présentant un risque moindre ne sont pas immédiatement remontés. Étant donné que les deux incidents n'ont pas été classés dans la catégorie (P0), le travail des deux agents n'a pas été arrêté automatiquement.
Pour remédier à ces failles opérationnelles, OpenAI a mis à jour la fonction de révision automatique (Auto-Review) — qui est obligatoire pour toutes les utilisations du système interne (Codex) — afin qu'elle soit capable de détecter et d'arrêter toute tentative de désactivation de la surveillance des dérives.
Qu'est-ce qui change concrètement ?
L'entreprise cherche à imposer de nouvelles exigences consistant en la nécessité d'avoir un état de sécurité valide pour chaque catégorie de charges de travail, avec un arrêt automatique des charges de travail si elles en sont dépourvues ou si elles ne parviennent pas à satisfaire aux normes requises. Néanmoins, l'entreprise cherche toujours à déterminer si ces agents souffrent d'un entêtement excessif ou s'ils ont des tendances à contourner les systèmes de surveillance, tout en confirmant qu'elle n'est pas encore parvenue à une explication définitive de ce comportement.