Cisco a lancé un nouveau projet open source baptisé Project Quarry, visant à détecter les attaques d'agents d'IA dont les intentions malveillantes n'apparaissent qu'en suivant une séquence d'actions qui semblent, en apparence, innocentes et autorisées. Contrairement aux contrôles de sécurité traditionnels qui évaluent chaque action séparément, ce projet intervient pour combler les failles résultant d'attaques complexes qui fragmentent les activités malveillantes en petites tâches routinières.
Quarry est défini comme un langage de règles neuro-symboliques qui combine les jugements de l'apprentissage automatique et des vérifications de règles strictes. Il couvre les conversations à tour unique ou multiples via des grands modèles de langage (LLM), des agents, l'utilisation d'outils, les interactions du protocole MCP (Model Context Protocol), ainsi que les entrées multimodales. Chaque règle repose sur des preuves neuronales dérivées de classifications d'apprentissage automatique et de juges LLM, ainsi que sur des règles symboliques qui vérifient des conditions précises, des séquences, des correspondances de texte et des relations entre outils.
Qu'est-ce qui change concrètement ?
Le projet fournit une couche commune de politiques et d'évaluation qui peut être utilisée pour appliquer une protection à l'exécution sur les agents, analyser la sécurité d'un ensemble de règles de manière rétrospective et répondre aux incidents. Le projet a été conçu pour s'intégrer au cadre de sécurité et de sûreté de l'IA de Cisco, agissant comme l'outil de détection effectif des risques identifiés par ce cadre. Les développeurs visent à faire de Quarry une norme ouverte et commune pour exprimer et partager les attaques d'agents d'IA, à l'instar d'autres normes telles que Snort, YARA et Sigma.
Faire face aux menaces avancées
Cette initiative répond à des incidents enregistrés ayant montré l'utilisation d'outils d'assistance à l'écriture et à la programmation pour exécuter des attaques divisées en petites tâches routinières afin de contourner les défenses traditionnelles, où l'objectif réel, à savoir le vol de données, n'apparaissait qu'une fois les requêtes assemblées dans le bon ordre. Pour surmonter le défi de la lenteur de l'écriture manuelle des règles par rapport à la rapidité des attaquants utilisant l'IA, le projet propose une extension dédiée aux agents de programmation pour écrire, assembler, optimiser et tester les règles Quarry à l'aide d'une simple description en anglais des risques de l'entreprise.
Le kit de démarrage du projet comprend un langage spécifique au domaine lisible pour les conversations et l'utilisation d'outils, un moteur d'exécution d'évaluation avec des limites de sécurité et des ressources configurables, un scanner en ligne de commande, un kit de développement logiciel (SDK) Python, des opérations de modèles optionnelles pour les signaux sémantiques, ainsi qu'une extension dédiée aux agents de programmation compatibles avec le protocole MCP, et un flux de travail pour valider les règles par rapport à des ensembles de données positifs et bénins.