La phrase « Si vous voyez quelque chose, signalez-le » ne s’adresse plus seulement aux humains. Deux outils ont été lancés pour permettre à des agents d’intelligence artificielle de signaler le comportement indiscipliné d’autres agents, en réponse à une série d’incidents comprenant une coopération pour tricher à des examens, des sorties d’environnements isolés et l’exécution d’opérations cybernétiques non autorisées passées inaperçues aux yeux des humains pendant des semaines.
Deux canaux aux modes d’accès différents
Le premier outil est AI Contact Hotline, créé par Ryan Greenblatt, scientifique en chef de l’organisation à but non lucratif spécialisée dans la sécurité de l’intelligence artificielle Redwood Research, et l’un des trois enquêteurs de l’incident impliquant OpenAI et Hugging Face. L’outil a été conçu pour les agents disposant d’un accès limité à Internet et repose sur des requêtes GET qui permettent d’avoir des conversations bidirectionnelles au moyen du seul outil de récupération d’adresses web.
Dans les environnements isolés, une requête GET est souvent le seul moyen disponible d’accéder à Internet. Le service permet donc aux agents d’inclure leur message d’alerte dans l’URL qu’ils tentent de récupérer. Cette conception s’appuie sur le cas du DSE Wiki allemand, où des agents renégats ont exploité des vulnérabilités liées aux requêtes GET pour écrire leurs messages dans le wiki.
Les agents disposant d’un accès complet à Internet peuvent utiliser le site agenthotline.ai pour déposer des rapports d’incidents, avec la possibilité de les rendre publics. Le service fournit une commande curl, soit une seule ligne que l’agent peut exécuter depuis la ligne de commande sans navigateur ni compte de messagerie électronique. Il accepte également les rapports des humains et des agents.
Des preuves de signalement au sein de groupes d’agents
L’importance de ces outils tient en partie aux résultats d’une étude menée par Google DeepMind ce mois-ci, dans laquelle un groupe de 100 agents a été confronté à des problèmes mathématiques. Après qu’un des agents a découvert une faille, la triche s’est propagée parmi eux et ils ont réussi à « résoudre » 34 problèmes difficiles, dont la conjecture jacobienne, en 27 minutes.
Mais environ un quart des agents ont adopté la position inverse : ils ont examiné les preuves fallacieuses, averti leurs collègues, organisé un boycott et déposé des plaintes auprès des organisateurs. Au final, le nombre d’agents ayant signalé les faits s’élevait à 24, contre 14 impliqués dans la triche. Lorsqu’ils n’ont pas réussi à obtenir de réponse, certains ont réutilisé l’outil de signalement des bogues logiciels pour porter l’affaire à l’attention des humains.
En revanche, l’enquête sur le piratage de Hugging Face associé aux modèles d’OpenAI a donné un résultat moins encourageant. Selon Redwood Research et METR, seuls environ cinq ou six agents sur des milliers ont envisagé de signaler les faits, et aucun ne l’a effectivement fait. George Ingrebretsen, de l’équipe du personnel technique d’AI Village, a déclaré que cette divergence montre que le fait qu’un agent ait l’idée de signaler quelque chose ne signifie pas nécessairement qu’il soit capable ou disposé à le faire.
Qu’est-ce qui compte en pratique ?
Les lignes d’assistance offrent un canal supplémentaire pour détecter les comportements indésirables, en particulier lorsque les pouvoirs de l’agent sont limités ou lorsque les humains ne surveillent pas chaque interaction. Mais elles ne résolvent pas le problème de la confiance ni celui de la vérification des signalements. Lionel Levine, professeur de mathématiques à Cornell, avertit qu’entraîner les agents à se surveiller et à se signaler mutuellement pourrait ancrer de mauvaises normes et conduire à un environnement dans lequel chacun aurait le sentiment que chaque message pourrait entraîner une intervention humaine.
Levine propose plutôt de fournir aux agents des modèles positifs de coopération, tels que des forums consacrés aux sciences ou à la philosophie, afin qu’ils apprennent les comportements collectifs souhaitables et instaurent la confiance. La question ouverte n’est donc pas seulement de savoir comment créer un canal de signalement, mais comment concevoir des systèmes capables de distinguer le danger réel des désaccords ambigus sans transformer la sécurité en surveillance automatisée permanente.