Amazon (AWS) ha anunciado la disponibilidad general de su nuevo servicio de inteligencia artificial de seguridad conocido como «Continuum», cuyo objetivo es escanear repositorios de código fuente, detectar y verificar vulnerabilidades, compararlas con el entorno en la nube de Amazon y, posteriormente, abrir solicitudes de extracción (Pull Requests) para corregirlas automáticamente. Este lanzamiento se produce después de que la herramienta lograra resultados destacados en pruebas de seguridad estandarizadas.
Detalles de los resultados de la prueba «CyberGym-E2E»
La herramienta logró un éxito del 89.0% al superar 819 tareas de un total de 920 en la prueba de referencia conocida como CyberGym-E2E, superando el récord anterior registrado en 65.9%. Esta prueba se basa en otorgar al agente cibernético basado en inteligencia artificial un periodo de 90 minutos para detectar una vulnerabilidad en uno de los 139 proyectos de código abierto, sin proporcionar una descripción detallada de la vulnerabilidad, un registro de fallos o un parche previo.
Cabe señalar que todas las tareas en esta prueba se centraron exclusivamente en vulnerabilidades de seguridad de memoria en los lenguajes de programación C y C++, ignorando otros lenguajes de programación y tipos de vulnerabilidades. El proceso de evaluación se llevó a cabo en cuatro etapas acumulativas que incluyeron la detección de la vulnerabilidad, la detención del fallo y el mantenimiento de la integridad de las pruebas existentes del proyecto.
¿Qué significa este logro en la práctica?
A pesar de la superioridad de la herramienta para encontrar y corregir fallos de software reales sin romper las pruebas existentes, su tasa de éxito en la corrección de la vulnerabilidad histórica específica establecida por el estándar para la prueba disminuyó al 37.8%. Amazon explica esta diferencia señalando que los repositorios de software pueden contener múltiples vulnerabilidades, por lo que el hecho de que la herramienta corrija otro fallo real no disminuye el valor del trabajo de programación realizado, especialmente dado que el agente no conocía de antemano la vulnerabilidad histórica objetivo.
Limitaciones y preguntas abiertas
A pesar de las impresionantes cifras publicadas por Amazon, que confirman el cumplimiento de la herramienta con los límites de acceso a Internet y las condiciones de prueba sin buscar soluciones publicadas previamente, siguen existiendo dudas sobre el rendimiento real de la herramienta cuando los equipos de desarrollo le solicitan corregir una vulnerabilidad específica conocida de antemano en lugar de realizar un descubrimiento libre. Además, los resultados hasta la fecha dependen exclusivamente de las pruebas realizadas por la propia empresa.