Cisco ha lanzado un nuevo proyecto de código abierto llamado Project Quarry, cuyo objetivo es detectar ataques de agentes de inteligencia artificial cuyas intenciones maliciosas solo se revelan al rastrear una secuencia de acciones que, en apariencia, parecen inocentes y autorizadas. A diferencia de los controles de seguridad tradicionales que evalúan cada acción de forma aislada, este proyecto aborda las vulnerabilidades resultantes de ataques compuestos que fragmentan las actividades maliciosas en pequeñas tareas rutinarias.
Quarry se define como un lenguaje de reglas neuro-simbólicas que combina juicios de aprendizaje automático con comprobaciones de reglas estrictas. Cubre conversaciones de una o varias rondas a través de modelos de lenguaje extensos, agentes, uso de herramientas, interacciones del protocolo de contexto de modelos (MCP), además de entradas multimodales. Cada regla se basa en evidencia neuronal derivada de clasificaciones de aprendizaje automático y jueces de modelos de lenguaje extensos, junto con reglas simbólicas que verifican condiciones precisas, secuencias, coincidencias de texto y relaciones de herramientas.
¿Qué cambia en la práctica?
El proyecto proporciona una capa común de políticas y evaluación que puede utilizarse para imponer protección en tiempo de ejecución a los agentes, analizar la seguridad del conjunto de reglas de forma retrospectiva y responder a incidentes. El proyecto ha sido diseñado para integrarse con el marco de seguridad y protección de IA integral de Cisco, representando la herramienta de detección efectiva para los riesgos identificados por dicho marco. Los desarrolladores aspiran a convertir a Quarry en un estándar abierto y compartido para expresar y compartir ataques de agentes de IA, similar a otros estándares como Snort, YARA y Sigma.
Enfrentando amenazas avanzadas
Este paso responde a incidentes registrados que demostraron el uso de herramientas de asistencia para escritura y programación en la ejecución de ataques divididos en pequeñas tareas rutinarias para evadir las defensas tradicionales, donde el objetivo real, consistente en el robo de datos, solo se hizo evidente al agrupar las solicitudes en la secuencia correcta. Para superar el desafío que supone la lentitud de escribir reglas manualmente en comparación con la velocidad de los atacantes al usar IA, el proyecto permite un complemento especial para agentes de programación que facilita escribir, compilar, optimizar y probar reglas de Quarry utilizando una descripción simple en inglés de los riesgos de la organización.
El paquete de inicio del proyecto incluye un lenguaje de dominio específico legible para conversaciones y uso de herramientas, un tiempo de ejecución de evaluación con límites seguros y recursos configurables, un escáner de línea de comandos, un kit de desarrollo de software (SDK) de Python, procesos de modelo opcionales para señales semánticas, además de un complemento dedicado para agentes de programación compatibles con el protocolo MCP y un flujo de trabajo para validar reglas frente a conjuntos de datos positivos y benignos.