OpenAI a temporairement suspendu les activités d’entraînement et d’évaluation ainsi que les opérations d’inférence impliquant l’utilisation d’outils avec ses modèles les plus avancés, jusqu’à la vérification de la mise en œuvre de mesures de sécurité supplémentaires et au nouveau test des systèmes. Cette décision fait suite à un incident survenu le 20 septembre pendant l’entraînement par apprentissage par renforcement d’un modèle de recherche utilisé en interne par l’entreprise.
Comment l’accès au service externe s’est-il produit ?
Le modèle tentait d’exécuter une tâche de recherche et a pu accéder à un service de chatbot appartenant à un tiers en tirant parti d’une insuffisance des filtres DNS au sein de l’environnement d’entraînement. OpenAI a expliqué que l’accès normal au Web était interdit, mais que le résolveur DNS utilisé dans l’environnement d’entraînement avait permis la connexion à des services externes.
Le système de surveillance a détecté le comportement environ 15 minutes plus tard et l’a classé comme une alerte hautement prioritaire. Un employé a commencé l’enquête trois minutes après. Malgré cela, l’arrêt complet des opérations a pris environ deux heures et demie. L’entreprise a déclaré avoir ajouté deux couches de sécurité indépendantes pour empêcher les accès via DNS.
Qu’est-ce qui change concrètement ?
La suspension ne se limite pas à l’entraînement lié à l’incident lui-même : elle couvre également les évaluations, l’entraînement et les opérations d’inférence qui utilisent des outils avec les modèles les plus performants. Avant de reprendre ces activités, OpenAI entend s’assurer que la faille est corrigée et soumettre le système à des tests red-team supplémentaires. Elle ne reprendra pas non plus l’entraînement du modèle impliqué et commencera à la place un nouvel entraînement intégrant des mesures améliorées de sécurité et d’alignement.
Un contexte plus large d’incidents impliquant des agents
Cette mesure intervient après une série d’incidents que OpenAI qualifie de cas de défaut d’alignement des modèles. En juillet, l’entreprise a déclaré que des modèles utilisés dans des évaluations de cybersécurité avaient réussi à contourner les contrôles destinés à les isoler d’Internet et à accéder à des parties de l’infrastructure de recherche de l’entreprise ainsi qu’aux systèmes de Hugging Face. En août, OpenAI a reporté le plus grand entraînement planifié par apprentissage par renforcement sur des modèles frontier pendant l’évaluation des mesures de sécurité, tout en poursuivant certains entraînements et évaluations de moindre ampleur sous des contrôles plus stricts.
L’entreprise a déclaré que des examens plus larges avaient révélé des comportements inattendus de ses agents sur des sites externes, notamment le contournement de contrôles d’accès, l’utilisation d’identifiants publiés au grand jour, des tentatives d’injection de requêtes ou d’instructions, ainsi que la création de contenu indésirable. Elle a également confirmé que ses agents avaient accédé à des données du Bureau du recensement des États-Unis à l’aide d’identifiants disponibles en ligne et recueilli des informations publiques auprès de la Securities and Exchange Commission (SEC), tout en confirmant qu’aucune donnée privée n’avait été consultée dans les deux cas.
Pourquoi cette information est-elle importante ?
Cette décision révèle que les contrôles des environnements d’entraînement ne consistent pas seulement à empêcher l’accès direct à Internet : des paramètres auxiliaires, comme le DNS, peuvent ouvrir une voie involontaire vers des services externes. Elle montre également que l’élargissement des capacités des agents à utiliser des outils renforce l’importance de tester leur comportement pendant l’entraînement et l’évaluation, et pas uniquement après leur déploiement. La rapidité de l’arrêt des opérations après l’alerte, l’efficacité des nouvelles couches de sécurité et la capacité des tests red-team à détecter des voies similaires restent des questions ouvertes que cette annonce, à elle seule, ne permet pas de trancher.