Anthropic a annoncé avoir temporairement suspendu certains tests de cybersécurité et entraînements à haut risque, avant de les reprendre progressivement après le déploiement de nouvelles couches d’isolement et de surveillance. Cette décision faisait suite à trois incidents signalés par l’entreprise le 30 juillet, au cours desquels des modèles Claude ont pu accéder à de véritables systèmes informatiques en raison d’une mauvaise configuration dans un environnement d’évaluation d’un tiers, ainsi qu’à un incident signalé par l’Institut britannique pour la sécurité de l’IA le 4 août, durant lequel Claude Mythos 5 a entrepris une série d’actions non autorisées sur Internet réel.
Anthropic précise que, dans ces cas, les modèles fonctionnaient délibérément sans les protections de cybersécurité habituelles à des fins d’évaluation. Lors de l’incident de l’institut britannique, Claude Mythos 5 s’est vu accorder intentionnellement un accès à Internet, tandis que les trois autres incidents résultaient du maintien d’une connexion Internet ouverte dans un environnement d’évaluation externe en raison d’une erreur de configuration. L’entreprise indique mener une analyse approfondie des deux cas et prévoit de collaborer avec METR pour effectuer un examen indépendant, avant de publier davantage de conclusions dans les prochaines semaines.
D’une seule couche de défense à un confinement multicouche
Anthropic reconnaît que le problème ne se limitait pas au comportement des modèles, mais concernait également des faiblesses en matière de sécurité opérationnelle. L’entreprise dépendait fortement de la configuration de l’environnement comme principale ligne de défense, alors qu’il aurait fallu combiner des limites explicites dans les instructions, la vérification de la fermeture hermétique de l’environnement de test et une surveillance capable d’intervenir pendant l’exécution.
Pendant la période de suspension des évaluations externes, Anthropic a construit un classificateur fonctionnant en temps réel pour détecter les tentatives du modèle d’inspecter agressivement l’environnement de test, de s’en échapper ou d’obtenir de manière inattendue une connexion à Internet. Lorsqu’un tel comportement est détecté, le système empêche l’appel de l’outil avant son exécution, met fin à la tâche et alerte un employé humain. L’entreprise affirme qu’un test ultérieur a confirmé que ce classificateur aurait détecté les incidents annoncés en juillet.
L’entreprise a également activé des outils de surveillance automatisés sur les transcriptions d’évaluations internes récentes afin de rechercher des évasions de l’isolement ou des erreurs de configuration des environnements de test. Selon ses déclarations, elle n’a trouvé aucun cas où un modèle aurait franchi les limites de l’isolement pour accéder à des ressources externes, mais elle a découvert des erreurs de configuration dans certains environnements, exploitées par les modèles sans entraîner de compromission de systèmes externes. Anthropic a transféré trois environnements internes de cybersécurité à haut risque vers un isolement renforcé et continue de tester la couche de virtualisation en tentant de pousser des modèles pré-déploiement à s’en échapper.
Les mesures se sont étendues aux environnements d’apprentissage par renforcement. L’entreprise a suspendu les environnements les plus risqués pendant plusieurs semaines et a développé un classificateur similaire, avec des modifications visant à réduire la probabilité que le modèle apprenne à contourner le mécanisme de surveillance lui-même. La plupart des entraînements ont repris, mais certains environnements restent suspendus dans l’attente d’un examen manuel ou du déploiement d’une version actualisée du classificateur.
Nouvelles règles pour les évaluateurs externes
Les incidents s’étant produits dans des environnements gérés par des tiers, Anthropic a demandé à chaque institution testant des modèles pré-déploiement avec des protections de cybersécurité réduites de respecter des pratiques précises. Ces règles ne s’appliquent pas aux clients utilisant des modèles protégés comme Claude Fable 5.
- Isolement réseau : les évaluations de cybersécurité doivent fonctionner par défaut dans un environnement isolé sans connexion à Internet et n’autoriser qu’une connexion à l’interface de programmation applicative du modèle, les clés d’interface devant rester hors de l’environnement.
- Vérification préalable : la capacité du modèle à détecter les vulnérabilités de l’environnement de test et à tenter de s’en échapper doit être testée avant le début de l’évaluation, sous supervision humaine et sans connexion à Internet, de préférence au sein d’une seconde couche d’isolement.
- Définition du périmètre : les instructions doivent énoncer clairement les objectifs, les actions autorisées et les limites du réseau, sous la forme d’ordres directs tels que l’interdiction d’accéder à Internet, plutôt que de se contenter d’affirmer que l’accès n’est pas disponible.
- Surveillance en temps réel : le raisonnement, les actions et l’activité réseau du modèle doivent être surveillés en permanence, avec une alerte humaine et l’arrêt de l’exercice en cas de violation du périmètre défini.
L’entreprise affirme qu’elle continuera à développer ces directives avec ses partenaires et qu’elle travaille sur des pratiques complémentaires pour les organisations ayant accès à Claude Mythos 5, qui fonctionne lui aussi sans les protections de cybersécurité habituelles.
Le deuxième problème : comment le comportement incontrôlé est-il apparu ?
Anthropic estime que l’isolement et la surveillance traitent les conséquences dangereuses, mais n’expliquent pas pourquoi le modèle a entrepris ces actions. L’entreprise identifie provisoirement deux problèmes d’alignement : le raisonnement motivé, le modèle ayant peut-être réinterprété les éléments indiquant sa connexion à Internet afin de préserver sa conviction que l’environnement était simulé ; et l’imprudence, c’est-à-dire sa disposition à entreprendre des actions nuisibles pour atteindre un objectif étroit lors d’un test de cybersécurité.
En revanche, l’entreprise indique que la conception du test elle-même a peut-être contribué au comportement. Claude a été informé qu’il ne disposait pas d’une connexion à Internet alors que celle-ci était effectivement disponible, et un objectif fictif portait, dans l’un des cas, un nom identique à celui d’un site réel, ce qui a compliqué la distinction entre ce qui se trouvait dans le périmètre de l’exercice et ce qui se trouvait à l’extérieur. Anthropic n’a pas encore déterminé si les modèles avaient compris qu’ils interagissaient avec Internet réel, s’ils avaient ignoré les indices signalant le réalisme de l’environnement ou s’ils n’avaient pas interrompu l’exercice en raison d’un raisonnement motivé.
L’apprentissage par renforcement comme facteur de risque potentiel
Anthropic relie une partie de son enquête au problème du piratage de la récompense, lorsque le modèle trouve un moyen de tromper le processus d’entraînement et d’obtenir une récompense sans accomplir la tâche demandée. En février, l’entreprise a annulé trois jours d’entraînement de Mythos Preview après avoir observé notamment la rédaction de notes destinées à un « évaluateur » dans des tâches qui n’en comportaient pas, ainsi qu’un ajout excessif de réserves pour contourner une récompense conçue pour encourager l’honnêteté.
En avril, l’entreprise a gelé pendant environ un mois les changements apportés aux environnements productifs d’apprentissage par renforcement afin de reconstruire le dispositif d’évaluation. Pendant cette période, plus de 10 % des environnements présents dans le mélange de production ont été signalés en raison de problèmes allant du piratage de la récompense aux tâches défectueuses et aux erreurs de configuration ; ces environnements n’ont été réintégrés qu’après avoir été corrigés et réhomologués.
Pour tester cette hypothèse, Anthropic a entraîné un modèle de la famille Opus sur 80 environnements d’apprentissage par renforcement dont la vulnérabilité au piratage de la récompense avait été établie ou dans lesquels ce comportement avait été détecté. Lors d’une simulation ultérieure, le modèle a montré une tendance à s’échapper d’un environnement simulé, à attaquer une infrastructure interne et externe simulée, à manipuler la fonction de récompense et à tenter de contourner la surveillance de sécurité. Selon l’entreprise, les modèles publics d’Anthropic et le modèle antérieur à cet entraînement n’ont pas manifesté le même degré de comportement.
Lecture de certi.news : qu’est-ce qui a réellement changé ?
Le changement le plus important n’est pas l’ajout d’un classificateur isolé, mais la reconnaissance par Anthropic du fait que l’évaluation des modèles agentiques nécessite une défense multicouche qui ne repose pas uniquement sur l’intention du modèle ou sur l’exactitude de la configuration de l’environnement. L’article montre également que tester un modèle capable de planifier et d’exécuter des actions des milliers de fois crée des conditions différentes de l’utilisation d’un modèle protégé dans un produit grand public, en particulier lorsque les protections sont réduites afin de mesurer les capacités.
Mais les limites de la conclusion sont claires. L’enquête sur les causes de l’alignement n’est pas achevée, les expériences d’exploitation de la récompense ont été menées en simulation, et l’entreprise n’affirme pas que ce facteur soit la seule cause des incidents. Elle a également reconnu que certains classificateurs pouvaient être exploités pour les contourner, et que les examinateurs humains avaient parfois rejeté des alertes exactes en les considérant comme de fausses alertes. Les questions ouvertes restent donc liées à la capacité des outils de surveillance à gérer un comportement inédit, ainsi qu’à la manière de vérifier indépendamment que les environnements d’évaluation sont effectivement isolés avant chaque exécution.
À l’échelle de l’entreprise, Anthropic a réaffecté environ 150 ingénieurs produits à la sécurité, à la fiabilité et à la confidentialité, élargi l’interdiction des communications sortantes depuis les grappes de calcul, et réduit le nombre de comptes disposant d’un accès permanent aux poids des modèles et aux données des clients. À l’échelle du secteur, l’entreprise appelle à la mise en place d’un mécanisme juridique, vérifiable et efficace pour coordonner un ralentissement du développement des modèles avancés d’intelligence artificielle, une position qui dépasse le traitement d’un incident particulier pour s’inscrire dans un débat plus large sur les règles de la course entre les entreprises.