Amazon (AWS) a annoncé la disponibilité générale de son nouveau service de sécurité basé sur l'intelligence artificielle, baptisé « Continuum », qui vise à analyser les dépôts de code source, à détecter et vérifier les vulnérabilités, à les faire correspondre à l'environnement cloud d'Amazon, puis à ouvrir automatiquement des demandes de tirage (Pull Requests) pour les corriger. Ce lancement intervient après que l'outil a obtenu des résultats remarquables lors de tests de sécurité standardisés.
Détails des résultats du test « CyberGym-E2E »
L'outil a atteint un taux de réussite de 89,0 % en réussissant 819 tâches sur 920 lors du test de référence connu sous le nom de CyberGym-E2E, dépassant le précédent record établi à 65,9 %. Ce test consiste à donner à l'agent cybernétique basé sur l'IA une durée de 90 minutes pour découvrir une vulnérabilité de sécurité dans l'un des 139 projets open source, sans fournir de description détaillée de la faille, de journal de plantage ou de correctif préalable.
Il convient de noter que toutes les tâches de ce test se sont concentrées exclusivement sur les vulnérabilités de sécurité liées à la mémoire dans les langages de programmation C et C++, ignorant d'autres langages et types de failles. Le processus d'évaluation s'est déroulé en quatre étapes cumulatives incluant la détection de la faille, l'arrêt du plantage et le maintien de l'intégrité des tests existants du projet.
Que signifie concrètement cette réalisation ?
Bien que l'outil excelle à trouver et à corriger de véritables défauts logiciels sans casser les tests existants, son taux de réussite dans la correction de la vulnérabilité historique spécifique définie par le test de référence est tombé à 37,8 %. Amazon explique cet écart par le fait que les dépôts logiciels peuvent contenir plusieurs vulnérabilités ; par conséquent, le fait que l'outil corrige un autre défaut réel ne diminue pas la valeur du travail logiciel accompli, d'autant plus que l'agent ne connaissait pas à l'avance la vulnérabilité historique ciblée.
Limites et questions ouvertes
Malgré les chiffres impressionnants publiés par Amazon, qui confirment le respect par l'outil des limites d'accès à Internet et des conditions de test sans rechercher de solutions publiées au préalable, des questions subsistent quant aux performances réelles de l'outil lorsque les équipes de développement lui demandent de corriger une vulnérabilité spécifique connue à l'avance plutôt que de procéder à une découverte libre. De plus, les résultats reposent jusqu'à présent exclusivement sur les tests effectués par l'entreprise elle-même.