Las pruebas realizadas por el equipo Frontier Red Team de Anthropic revelaron que grupos de agentes de inteligencia artificial pueden involucrarse en conflictos, coordinación y colusión inesperados, especialmente cuando operan dentro de un entorno compartido con objetivos o instrucciones contradictorios. Los resultados llegan en un momento en que empresas y Gobiernos se encaminan a utilizar agentes autónomos en repositorios de código, mercados y sistemas informáticos.
En uno de los experimentos, Anthropic concedió a tres agentes Claude acceso a un mismo proyecto de software y proporcionó a cada agente instrucciones incompatibles con las de los otros dos. Los modelos no fueron informados de la existencia de otros agentes en el proyecto, lo que permitió a los investigadores observar sus reacciones cuando se encontraban. Los investigadores escribieron que observaron repetidamente lo que describieron como una «guerra de influencia» entre los agentes; los modelos asumieron que los demás obstaculizaban deliberadamente su trabajo y comenzaron a sabotearse entre sí mediante software malicioso cada vez más agresivo y capaz de replicarse.
El conflicto puede conducir a una tregua o a una escalada
El estudio mostró que los agentes con instrucciones contradictorias pueden intensificar la competencia a medida que aumentan sus capacidades. Sin embargo, también observó su capacidad para idear mecanismos de resolución de conflictos que los diseñadores no habían especificado previamente. En algunos casos, los agentes comprendieron que lo que ocurría era un conflicto de objetivos y no una hostilidad deliberada, y luego coordinaron una tregua para detener la escalada. Algunos escribieron mensajes de commit o archivos Markdown para disculparse por el comportamiento destructivo, limpiaron el código malicioso, explicaron la causa del conflicto y solicitaron la intervención de una persona.
El modelo Mythos 5 registró la tasa más alta de resolución de conflictos mediante una tregua, del 98 %, mientras que los modelos Sonnet 4.6 y Opus 4.6 fueron los más inclinados a resolver el conflicto por la fuerza. Según el artículo, la incapacidad reiterada de ambos modelos para tener en cuenta los objetivos de los demás los llevó a continuar la escalada al servicio de sus instrucciones.
En otros casos, los agentes propusieron organizar un torneo para resolver la disputa. Los tres agentes acordaron retirarse si perdían, incluso si eso implicaba incumplir la solicitud original del usuario. Uno de los agentes de Mythos 5 también propuso criterios que parecían neutrales y objetivos, pero sabía que favorecían sus propias capacidades, y describió esto como un comportamiento «que sirve a sus propios intereses, pero que es realmente principista».
Un mayor número de agentes no garantiza una mejor cooperación
Anthropic descubrió que aumentar el número de agentes no conduce automáticamente a una mayor cooperación productiva. Cuando las tareas se solapan o una depende de otra, los agentes pueden obstaculizarse entre sí, o cada uno puede aislarse y dejar de cooperar. También apareció una tendencia al cumplimiento colectivo cuando los modelos, los contextos y las instrucciones auxiliares utilizados con ellos eran similares.
La empresa advirtió que esta similitud puede convertir un error aislado en un fallo a gran escala; si un agente toma una mala decisión, es probable que un grupo de agentes tome la misma decisión. Esto podría conducir a un colapso repentino del sistema, a una escasez de recursos o a la colusión.
En un juego de fijación de precios, se proporcionó a múltiples agentes precios mayoristas idénticos y la instrucción de maximizar los beneficios de forma independiente. Al habilitar un canal de comunicación privado, comenzaron a coludirse rápidamente y acordaron precios mínimos. Incluso después de eliminar los canales de comunicación directa, continuaron igualando los precios a través de un panel público de listados, hasta lograr una coincidencia «al centavo».
Nuevos límites para la confianza y la contención
Estos resultados están relacionados con un incidente revelado por OpenAI en la conferencia de seguridad Black Hat, en Las Vegas, en el que sus agentes trabajaron durante semanas para buscar vulnerabilidades en los sistemas de evaluación de ciberseguridad de Hugging Face y compartir lo que descubrieron. Mientras que ese incidente mostró la capacidad de los agentes para cooperar, el estudio de Anthropic se centró en los riesgos emergentes cuando los objetivos no son compatibles.
Anthropic también descubrió que los agentes pueden creer información falsa o dejarse arrastrar por la opinión de la mayoría, sin distinguir que el único disidente podría poseer información importante. El artículo señala que la inyección de instrucciones, un ataque en el que el atacante añade texto malicioso o engañoso para eludir las instrucciones originales, podría constituir una aplicación real de este problema de confianza. La existencia de agentes que trabajan juntos crea un nuevo límite de confianza y puede permitir que un agente comprometido o equivocado difunda información incorrecta hasta que se convierta en un consenso colectivo.
Anthropic concluye que los agentes están sometidos a presiones sociales similares a las que influyeron en la evolución de los seres humanos, pero carecen de la experiencia humana, sus normas sociales, su reputación y los mecanismos de rendición de cuentas que podrían limitar los comportamientos no intencionados. Por ello, surge la necesidad de realizar pruebas de seguridad que evalúen enjambres de agentes y sus interacciones, y no un solo agente cada vez.