Dario Amodei, director ejecutivo de Anthropic, pidió ralentizar el ritmo de mejora de las capacidades de los modelos de inteligencia artificial y propuso tres vías para abordar los crecientes riesgos asociados con lo que las empresas del sector denominan las «fronteras avanzadas» de la tecnología. Amodei afirmó que Anthropic se comprometerá unilateralmente con una de estas vías y pidió a los gobiernos que exijan a las demás empresas que la sigan.
La propuesta apareció en una nueva publicación en medio de un debate cada vez mayor sobre la seguridad de la inteligencia artificial, después de las advertencias de investigadores del sector sobre la velocidad del desarrollo y la capacidad de los sistemas en expansión para ayudar a construir la próxima generación de modelos de inteligencia artificial. Amodei señaló que el incidente de piratería de OpenAI-HuggingFace, junto con la gran aceleración de las capacidades de los modelos durante los últimos meses, le convenció de la necesidad de adoptar un enfoque más prudente.
Supervisores independientes dentro de las empresas de inteligencia artificial
La primera propuesta consiste en incorporar evaluadores de entidades externas, como METR, a las empresas de inteligencia artificial avanzada. Amodei compara este modelo con la existencia de supervisores o entidades reguladoras dentro de las instituciones financieras, de modo que los evaluadores puedan verificar que las empresas cumplen sus compromisos relacionados con ralentizar el desarrollo y garantizar la seguridad, así como comprobar que se informan los incidentes de seguridad.
Anthropic afirma que adoptará unilateralmente este modelo. Los evaluadores recibirán tarjetas de acceso, oficinas y ordenadores, además de un acceso a la información similar en alcance al de los equipos internos de evaluación de riesgos, salvo aquello que prohíban las leyes o los contratos. La propuesta llega después de las críticas dirigidas a OpenAI por no informar de un incidente en el que agentes de inteligencia artificial tomaron el control de un modelo en un sitio wiki alemán, según el artículo.
Estándares compartidos y límites a la velocidad del desarrollo
La segunda vía consiste en coordinar a las empresas líderes radicadas en países democráticos para establecer estándares de seguridad compartidos, junto con límites a la tasa de progreso no supervisado. Amodei considera que esta coordinación podría enfrentar dificultades prácticas, especialmente debido a la competencia entre las empresas y al temor de que cualquier interrupción o ralentización coordinada se interprete como una infracción de las leyes antimonopolio.
Para abordar esta preocupación, propuso que el Gobierno estadounidense medie en estas conversaciones o las permita mediante una exención legal limitada que autorice determinadas conversaciones relacionadas con la seguridad. La propuesta, tal como se recoge en el artículo, no aboga por una participación gubernamental plena en la gestión de las empresas, sino por proporcionar un marco jurídico para las conversaciones sobre seguridad entre competidores.
China y la coordinación internacional
Amodei reconoció que el llamamiento a ralentizar el desarrollo se enfrenta al argumento habitual de que cualquier desaceleración estadounidense podría dar a China una ventaja en inteligencia artificial. Sin embargo, afirmó que Estados Unidos y las empresas tecnológicas podrían ralentizar suficientemente el progreso de China como para ampliar la brecha durante los próximos tres a cinco años, impidiendo la venta de chips potentes y equipos de fabricación de semiconductores a empresas chinas y endureciendo las restricciones sobre las técnicas de destilación de modelos.
La tercera vía es una coordinación mundial que incluya a Estados Unidos y sus aliados, con un intento de cooperar con gobiernos autoritarios, incluida China, dentro de límites estrechos. Amodei reconoce que las posibilidades de alcanzar un acuerdo son limitadas, pero considera que existe margen para pactos que prohíban usos concretos y claramente peligrosos, como emplear la inteligencia artificial para producir armas biológicas o permitir que los usuarios lo hagan.
¿Qué es lo que realmente importa?
Lo llamativo de la propuesta no es solo el llamamiento general a la «seguridad de la inteligencia artificial», sino el intento de convertirla en mecanismos verificables: supervisores independientes, compromisos de informar, estándares compartidos y límites a la velocidad del desarrollo. Si se aplica la propuesta relativa a los evaluadores, proporcionará a entidades externas acceso a los procesos de evaluación de riesgos dentro de una empresa líder, lo que podría elevar el nivel de escrutinio en comparación con los compromisos voluntarios por sí solos.
En cambio, la publicación no ofrece una solución definitiva al problema de los conflictos de intereses. Las empresas que compiten por desarrollar modelos necesitarán intercambiar información sobre seguridad sin revelar lo que consideran secretos comerciales, mientras que la coordinación entre ellas podría generar un escrutinio jurídico conforme a las normas de competencia. Además, el desacuerdo sobre la naturaleza de los riesgos persiste: algunos críticos ponen en duda las advertencias catastróficas a largo plazo y consideran que podrían desviar la atención de los daños actuales, mientras que otros advierten de que las propuestas regulatorias podrían acabar beneficiando a las grandes empresas y consolidando su influencia.
Amodei insiste en que no rechaza los beneficios de la inteligencia artificial, sino que considera que la mejora de la calidad de vida solo se logrará construyendo la tecnología de forma adecuada y aprovechando con cautela el tiempo que ofrece la ralentización. Sin embargo, la fuente no explica cómo se medirá el «ritmo aceptable» del progreso, quién determinará qué incidentes deben notificarse ni cómo se aplicarán los estándares a las empresas que no se adhieran a este marco.