NVIDIA y un amplio grupo de empresas tecnológicas y organizaciones de código abierto anunciaron la creación de Open Secure AI Alliance, con el objetivo de desarrollar y compartir tecnologías y herramientas abiertas que ayuden a los defensores a proteger el software y los agentes inteligentes a medida que se amplía el uso de la inteligencia artificial. La alianza se basa en iniciativas de la comunidad de Linux Foundation, incluida la iniciativa Akrites y el trabajo de OpenSSF, con especial atención al tratamiento y la divulgación de vulnerabilidades mediante tecnologías abiertas.
La alianza incluye socios fundadores de los ámbitos de la computación en la nube, la ciberseguridad, el software empresarial y la investigación en inteligencia artificial, entre ellos NVIDIA, Adobe, Akamai, Amazon, Atlassian, Cisco, Cloudflare, CrowdStrike, Dell Technologies, Docker, GitHub y Google?
La apertura como herramienta defensiva
La alianza considera que la defensa cibernética necesita modelos abiertos y herramientas operativas abiertas, porque permiten a los defensores inspeccionar y adaptar los sistemas, así como ejecutarlos en su propia infraestructura, protegiendo los datos y reduciendo la dependencia de un único proveedor. Según el artículo, estas herramientas pueden complementar los modelos cerrados avanzados al proporcionar controles personalizables y adecuados para los entornos locales.
NVIDIA reconoce que los modelos abiertos, como cualquier tecnología potente, pueden utilizarse indebidamente para debilitar las medidas de protección o reutilizarse en ataques cibernéticos. Sin embargo, el artículo sostiene que estos riesgos no se limitan a los sistemas abiertos y que mantener cerrados los pesos de los modelos no impide que atacantes decididos intenten acceder a capacidades avanzadas o explotarlas.
El artículo cita un incidente de seguridad reciente que afectó a Hugging Face y afirma que la empresa utilizó un modelo GLM 5.2 de pesos abiertos en su infraestructura para analizar más de 17 mil acciones y contener la intrusión, después de que unas herramientas de inteligencia artificial cerradas dificultaran el análisis forense porque no podían distinguir entre los atacantes y los defensores. NVIDIA utiliza este caso para ilustrar la importancia de que los defensores dispongan de sistemas avanzados que puedan inspeccionarse, modificarse y ejecutarse internamente.
Contribuciones de NVIDIA y componentes de protección
NVIDIA afirmó que contribuye a la alianza con modelos abiertos, pesos de modelos, datos y nuevas investigaciones sobre marcos operativos de agentes. También puso a disposición el proyecto de código abierto NVIDIA Labs Object-Oriented Agent (NOOA) en GitHub, un marco de investigación destinado a ayudar a los marcos operativos de agentes a integrarse mejor con los modelos, haciendo que el comportamiento de los agentes sea más fácil de probar, rastrear, auditar y gobernar.
Los participantes trabajan en la creación de un ecosistema de defensa abierta para agentes que incluya identidad y aislamiento, formatos de modelos seguros, análisis con múltiples modelos y flujos de trabajo de programación segura. Entre los ejemplos mencionados en el artículo se encuentra la contribución de HPE a SPIFFE/SPIRE para la verificación criptográfica de las identidades de los agentes y los servicios, así como la cesión por parte de Hugging Face del formato Safetensors a la organización PyTorch, un formato para almacenar los pesos de los modelos con garantías contra la ejecución remota de código.
Un llamamiento a una infraestructura compartida
NVIDIA instó a los gobiernos, las empresas y los investigadores a invertir en una infraestructura abierta para la defensa mediante inteligencia artificial, como conjuntos de datos, marcos de evaluación, simuladores de ataques y herramientas de pruebas ofensivas. También instó a los responsables políticos y a los organismos reguladores a considerar los modelos abiertos, los marcos operativos y las herramientas de seguridad como activos defensivos, y advirtió que las restricciones generales sobre los sistemas abiertos de inteligencia artificial podrían debilitar la capacidad defensiva y aumentar la concentración de la dependencia en un número limitado de proveedores cerrados.