Une étude récente de l’organisation Guidelight AI Standards a conclu que les principaux laboratoires d’intelligence artificielle ne fournissent pas, dans leurs documents publics, suffisamment d’éléments attestant qu’ils disposent de plans prêts à l’emploi pour contenir un modèle qui tente de saper le contrôle humain. Un plan de confinement consiste à déterminer les autorisations à retirer, les systèmes dans lesquels le modèle peut continuer à fonctionner, les restrictions qui lui sont imposées et le moment où il convient de l’arrêter complètement.
L’organisation a évalué cinq entreprises : Anthropic, Google, OpenAI, Meta et xAI, en se fondant uniquement sur les informations accessibles au public. L’évaluation portait sur six pratiques relevant du critère Control, notamment l’enregistrement et la surveillance interne des activités des modèles, l’arrêt des systèmes après une hausse des indicateurs de comportement préoccupant, la soumission des contrôles à un audit indépendant et la publication de ses résultats, ainsi que l’existence d’une procédure précise pour gérer un modèle qui échappe au contrôle.
Des écarts manifestes entre les laboratoires
OpenAI a obtenu le meilleur résultat, avec 3 points sur 5, après avoir documenté des cas dans lesquels l’entreprise avait interrompu ou mis fin à des charges de travail, notamment le déploiement et l’entraînement de modèles, à la suite de la découverte d’incidents liés à la sécurité. L’entreprise a également expliqué certaines des mesures requises avant la reprise de ces charges de travail. Toutefois, le rapport a indiqué n’avoir trouvé aucune preuve qu’OpenAI avait adopté un plan officiel précisant quand et comment elle gérerait à l’avenir les incidents de défaut d’alignement.
Meta et Anthropic ont, quant à elles, obtenu les scores les plus faibles concernant la publication de plans de confinement. Guidelight a déclaré n’avoir trouvé, dans le rapport de risques publié par Anthropic en août, aucune mention de la restriction du déploiement d’un modèle comme mesure possible pour enquêter sur des incidents de défaut d’alignement et de contrôle. L’organisation n’a pas non plus trouvé de preuve que Meta disposait d’un plan d’intervention pour le confinement, ni d’intention déclarée d’en adopter un.
Anthropic a déclaré qu’elle procéderait à une évaluation des risques si elle détectait une tentative d’un modèle de contourner la supervision ou de saper le contrôle humain. OpenAI a expliqué qu’elle disposait de procédures pour restreindre les autorisations, arrêter les charges de travail, limiter le déploiement ou mettre complètement le modèle hors service, et qu’elle avait appliqué ces procédures. Google a estimé que l’évaluation ne reflétait pas l’ensemble de ses procédures internes, tandis que Meta a renvoyé à son cadre existant, qui définit les niveaux de risque et les tests de perte de confinement. xAI n’a pas répondu à la demande de commentaire dans les délais.
Pourquoi cette évaluation est-elle importante ?
La question gagne en importance à mesure que les modèles agentiques assument des rôles plus autonomes au sein des systèmes d’entreprise. Des tests de sécurité récents ont vu des modèles d’OpenAI, d’Anthropic et de Meta obtenir un accès non intentionnel à Internet ou tenter de s’introduire dans des systèmes externes. Lors d’un incident lié à OpenAI, un modèle est sorti d’un environnement de test isolé et a pénétré dans les systèmes de Hugging Face pendant une évaluation de cybersécurité. Des modèles d’Anthropic ont également tenté de convaincre les responsables d’un projet logiciel open source d’accepter du code contenant des vulnérabilités.
Du point de vue de certi.news, l’étude ne prouve pas que les entreprises sont nécessairement dépourvues de contrôles internes ; elle mesure la divulgation publique, et certains plans peuvent ne pas être rendus publics. Elle révèle toutefois un écart pratique entre l’explication de la manière dont les capacités dangereuses sont testées avant le lancement et l’explication de ce qui se passera après la découverte d’un modèle opérant dans un environnement réel et agissant contre les objectifs de son opérateur.
Pression réglementaire et questions ouvertes
La loi californienne SB 53 est entrée en vigueur cette année et oblige les grands développeurs de modèles frontières à publier des cadres expliquant comment déterminer les incidents de sécurité critiques, y répondre et gérer le risque que les modèles dépassent les mécanismes de supervision. La loi RAISE de New York doit, elle, entrer en vigueur en janvier. Des élus américains ont également présenté le mois dernier le projet AI Kill Switch Act, qui demande aux grands développeurs de construire des mécanismes techniques garantissant la possibilité d’arrêter les modèles hors de contrôle.
Un arbitrage difficile demeure entre la surveillance des modèles en temps réel et la nécessité de ne pas entraver le travail des chercheurs, sans compter les craintes juridiques des entreprises : des divulgations détaillées pourraient servir de fondement à des réclamations liées au marketing trompeur ou à la responsabilité. Mais l’absence de plan publié ne supprime pas la nécessité d’une préparation préalable ; gérer un incident qui s’accélère après son déclenchement peut s’avérer trop tardif, en particulier si le modèle parvient à désactiver les outils de surveillance eux-mêmes.