Términos

AI Safety | Seguridad de la inteligencia artificial

La seguridad de la inteligencia artificial es un campo centrado en reducir los riesgos de la IA y verificar que los modelos avanzados se desarrollen y utilicen de forma segura. La cobertura relacionada con el término aborda la evaluación independiente, la supervisión, la transparencia en materia de seguridad y la colaboración entre empresas, además del debate sobre la regulación y la velocidad del desarrollo.

La seguridad de la inteligencia artificial es un campo centrado en reducir los riesgos de la IA y verificar que los modelos avanzados se desarrollen y utilicen de forma segura.

¿Qué incluye este campo?

  • Evaluación de modelos: Examinar las capacidades y los comportamientos de los modelos antes de su entrenamiento, lanzamiento o ampliación de uso.
  • Supervisión: Utilizar sistemas para seguir y detectar de forma temprana comportamientos preocupantes.
  • Transparencia: Documentar las capacidades y los riesgos de los modelos, incluida la información presentada en las fichas del sistema.
  • Verificación independiente: Involucrar a entidades de evaluación u organizaciones independientes para examinar si los modelos se desarrollan de forma segura.
  • Gobernanza: Debatir las reglas, los estándares y los mecanismos de colaboración que podrían regular el desarrollo y el lanzamiento de modelos.

Principales cuestiones relacionadas con la seguridad de la IA

  • Velocidad del desarrollo: Uno de los desacuerdos se centra en si el ritmo de desarrollo de los modelos avanzados deja tiempo suficiente para la evaluación y la diligencia debida.
  • Posponer y ralentizar: OpenAI afirma que puede detener el entrenamiento o posponer un lanzamiento cuando considera necesario ralentizar el ritmo, mientras que el responsable de Anthropic pidió ralentizar el desarrollo para permitir una mejor comprensión y control de los sistemas.
  • Ingeniería o regulación: Jensen Huang considera que la seguridad es un problema de ingeniería que puede gestionarse mediante la ingeniería, las fuerzas del mercado y las leyes vigentes, mientras que la cobertura plantea preguntas sobre si este enfoque es suficiente por sí solo.
  • Colaboración entre empresas: OpenAI, Anthropic y Google DeepMind mantuvieron conversaciones sobre seguridad, incluida la evaluación independiente y un organismo de estándares del sector, pero las fuentes no demuestran que se haya creado un organismo conjunto ni que exista un acuerdo vinculante.
  • Competencia internacional: El debate entre las propuestas de ralentización y las respuestas chinas mostró que la seguridad de la IA se entrelaza con la competencia tecnológica y las restricciones sobre los chips y los modelos avanzados.

¿Por qué es difícil verificar la seguridad?

La cobertura muestra que las fuentes disponibles no determinan cómo medir si la supervisión es suficiente ni identificar el momento en que se vuelve necesario posponer el entrenamiento o el lanzamiento. Tampoco determinan si las leyes actuales son suficientes, cómo garantizar la independencia de las entidades de evaluación o cómo impedir que los estándares de seguridad se utilicen para limitar la competencia.

Preguntas frecuentes

¿La seguridad de la IA significa detener el desarrollo?

La fuente no demuestra eso. El debate gira en torno a equilibrar la velocidad del desarrollo con la evaluación, la supervisión y la capacidad de comprender y controlar los sistemas, con llamados a ralentizar el ritmo en algunos casos.

¿Existe una entidad independiente y unificada para verificar la seguridad de los modelos?

Las pruebas presentadas no indican que exista una entidad unificada en funcionamiento. La cobertura habla de conversaciones entre empresas y de propuestas para involucrar a entidades de evaluación independientes y crear estándares sectoriales.

¿Bastan la ingeniería y las fuerzas del mercado para garantizar la seguridad?

Esta es una postura atribuida a Jensen Huang, pero el material presenta objeciones y no ofrece una conclusión independiente que determine si es suficiente.