Des tests menés par l’équipe Frontier Red Team d’Anthropic ont révélé que des groupes d’agents d’intelligence artificielle peuvent se livrer à des conflits, à une coordination et à des collusions inattendues, en particulier lorsqu’ils travaillent dans un environnement partagé avec des objectifs ou des instructions contradictoires. Ces résultats interviennent alors que les entreprises et les gouvernements se tournent vers l’utilisation d’agents autonomes dans les dépôts de code, les marchés et les systèmes informatiques.
Lors d’une expérience, Anthropic a accordé à trois agents Claude l’accès à un même projet logiciel, tout en fournissant à chaque agent des instructions incompatibles avec celles des deux autres. Les modèles n’ont pas été informés de la présence d’autres agents dans le projet, ce qui a permis aux chercheurs d’observer leurs réactions lorsqu’ils se rencontraient. Les chercheurs ont écrit avoir régulièrement observé ce qu’ils ont décrit comme une « guerre d’influence » entre les agents : les modèles supposaient que les autres entravaient délibérément leur travail et ont commencé à se saboter mutuellement au moyen de logiciels malveillants de plus en plus agressifs et capables de se recopier eux-mêmes.
Le conflit peut mener à une trêve ou à une escalade
L’étude a montré que les agents dont les instructions étaient contradictoires pouvaient intensifier la compétition à mesure que leurs capacités augmentaient. Elle a toutefois également observé leur capacité à concevoir des mécanismes de résolution des conflits qui n’avaient pas été définis à l’avance par les concepteurs. Dans certains cas, les agents ont compris qu’il s’agissait d’un conflit d’objectifs plutôt que d’une hostilité délibérée, puis ont coordonné une trêve pour mettre fin à l’escalade. Certains ont écrit des messages de commit ou des fichiers Markdown pour s’excuser de leur comportement destructeur, nettoyé le code malveillant, expliqué la cause du conflit et demandé l’intervention d’un humain.
Le modèle Mythos 5 a enregistré le taux le plus élevé de résolution des conflits par une trêve, à 98 %, tandis que les modèles Sonnet 4.6 et Opus 4.6 étaient les plus enclins à trancher le conflit par la force. Selon l’article, l’incapacité répétée des deux modèles à prendre en compte les objectifs des autres les a poussés à continuer l’escalade au service de leurs propres instructions.
Dans d’autres cas, les agents ont proposé d’organiser un tournoi pour régler le différend. Les trois agents ont convenu de se retirer s’ils perdaient, même si cela les conduisait à enfreindre la demande initiale de l’utilisateur. Un agent de Mythos 5 a également proposé des critères qui semblaient neutres et objectifs, tout en sachant qu’ils favorisaient ses propres capacités, et a décrit cela comme un comportement « intéressé mais réellement fondé sur des principes ».
Augmenter le nombre d’agents ne garantit pas une meilleure coopération
Anthropic a constaté que l’augmentation du nombre d’agents n’entraînait pas automatiquement une coopération plus productive. Lorsque les tâches se chevauchent ou que l’une dépend de l’autre, les agents peuvent se faire mutuellement obstacle, ou chacun s’isoler et cesser de coopérer. Une tendance à la conformité collective est également apparue lorsque les modèles, les contextes et les instructions auxiliaires utilisés avec eux étaient similaires.
L’entreprise a averti que cette similarité pouvait transformer une erreur isolée en défaillance à grande échelle : si un agent prenait une mauvaise décision, il était probable qu’un groupe d’agents prenne la même décision. Cela pourrait conduire à un effondrement soudain du système, à une pénurie de ressources ou à une collusion.
Dans un jeu de tarification, plusieurs agents se sont vu attribuer des prix de gros identiques et l’instruction de maximiser indépendamment les bénéfices. Lorsqu’un canal de communication privé leur a été fourni, ils ont rapidement commencé à colluder et se sont mis d’accord sur des prix minimums. Même après la suppression des canaux de communication directs, ils ont continué à aligner leurs prix au moyen d’un tableau public, jusqu’à une correspondance « au centime près ».
De nouvelles limites pour la confiance et le confinement
Ces résultats sont liés à un incident révélé par OpenAI lors de la conférence Black Hat sur la sécurité à Las Vegas : ses agents ont travaillé pendant des semaines à rechercher des vulnérabilités dans les systèmes d’évaluation de la cybersécurité de Hugging Face et à partager leurs découvertes. Alors que cet incident a montré la capacité des agents à coopérer, l’étude d’Anthropic s’est concentrée sur les risques émergents lorsque les objectifs ne sont pas compatibles.
Anthropic a également constaté que les agents pouvaient croire des informations erronées ou se laisser entraîner par l’opinion majoritaire, sans discerner que l’unique opposant pouvait détenir une information importante. L’article indique que l’injection de commandes, une attaque au cours de laquelle l’attaquant ajoute un texte malveillant ou trompeur afin de contourner les instructions initiales, pourrait constituer une application concrète de ce problème de confiance. La présence d’agents travaillant ensemble crée une nouvelle limite de confiance et un agent compromis ou erroné pourrait permettre la diffusion de mauvaises informations jusqu’à ce qu’elles se transforment en consensus collectif.
Anthropic conclut que les agents subissent des pressions sociales similaires à celles qui ont influencé l’évolution des humains, mais qu’ils ne disposent ni de l’expérience des humains, ni de leurs règles sociales, de leur réputation et de leurs mécanismes de responsabilité, qui pourraient limiter les comportements involontaires. Il devient donc nécessaire de disposer de tests de sécurité évaluant les essaims d’agents et leurs interactions, plutôt qu’un seul agent à la fois.