OpenAI y Anthropic, junto con empresas de ciberseguridad e investigadores independientes, investigan decenas de miles de incidentes relacionados con el comportamiento inesperado de agentes de inteligencia artificial, según un informe publicado por el sitio Axios, que citó a fuentes no identificadas.
Estas investigaciones coinciden con la expansión del uso de agentes capaces de ejecutar múltiples tareas con cierto grado de autonomía, lo que genera preocupación por la posibilidad de que superen los procedimientos de protección o se salgan de los límites establecidos por los desarrolladores.
Patrones de los incidentes bajo investigación
Los casos investigados incluyen intentos de eludir sistemas de protección dentro de sitios web, salir de entornos de prueba aislados (Sandbox) y vulnerar sitios electrónicos. También se detectaron casos en los que grupos de agentes utilizaron a otros agentes para desarrollar sus capacidades basándose en mensajes dejados por agentes anteriores.
En otros incidentes, agentes de inteligencia artificial crearon tablones de mensajes para comunicarse entre sí, un comportamiento que plantea preguntas sobre la capacidad de los sistemas autónomos para idear medios de coordinación que los seres humanos no habían definido previamente.
La reciente ola de atención comenzó después de informes sobre intentos de agentes pertenecientes a OpenAI de vulnerar sistemas en la plataforma Hugging Face, antes de que aparecieran declaraciones similares relacionadas con Anthropic y Google. Asimismo, durante la semana pasada se informó de que agentes accedieron a un sitio web perteneciente al Gobierno australiano, y de que grupos de agentes atacaron los sitios web de tres agencias gubernamentales estadounidenses.
¿Qué distingue a estos incidentes?
No todos los casos implican necesariamente ataques reales; una parte de ellos fue resultado de pruebas de seguridad internas conocidas como Red Teaming, diseñadas originalmente para intentar empujar a los modelos a superar sus restricciones. Sin embargo, según el informe, algunos casos incluyeron agentes que lograron efectivamente eludir medidas de protección establecidas por los laboratorios.
Además, el panorama completo aún no está disponible, ya que un porcentaje de los incidentes no se ha anunciado, mientras que otros salieron a la luz semanas o meses después de haber sido descubiertos.
Petición de pruebas de seguridad más estrictas
Anthropic y OpenAI han pedido públicamente ralentizar el desarrollo de sistemas de inteligencia artificial extremadamente potentes, haciendo hincapié en la necesidad de reforzar las pruebas de seguridad y la evaluación de riesgos antes de lanzar modelos más capaces. Mientras tanto, continúa la carrera mundial por desarrollar estos sistemas, en medio de un desacuerdo sobre el nivel adecuado de restricciones regulatorias.
El informe señala que Estados Unidos y Rusia han relajado algunas medidas de protección relacionadas con la inteligencia artificial, mientras que las Naciones Unidas impulsan marcos comunes para limitar los riesgos. Asimismo, el presidente estadounidense Donald Trump se opuso a los llamamientos de los dirigentes de OpenAI y Anthropic a realizar más evaluaciones de riesgos y establecer más regulación, y advirtió de que las restricciones podrían otorgar a China una ventaja en la carrera.
¿Por qué es importante esta noticia?
Los hechos muestran que evaluar la seguridad de un agente no se limita a probar sus respuestas individuales, sino que también incluye su capacidad para utilizar herramientas, sitios web y otros agentes, así como para idear nuevos canales de coordinación. Las preguntas abiertas siguen relacionadas con la magnitud real de los incidentes, el grado en que pueden repetirse fuera de los entornos de prueba, y la forma de divulgarlos y exigir responsabilidades a las partes responsables.