Компания Cisco запустила новый проект с открытым исходным кодом под названием Project Quarry, направленный на обнаружение атак агентов ИИ, вредоносные намерения которых проявляются только при отслеживании последовательности действий, кажущихся на первый взгляд безобидными и санкционированными. В отличие от традиционных средств безопасности, которые оценивают каждое действие отдельно, этот проект призван устранить уязвимости, возникающие в результате составных атак, разбивающих вредоносную деятельность на мелкие рутинные задачи.
Quarry представляет собой нейросимволический язык правил, сочетающий в себе возможности машинного обучения и строгие проверки на основе правил. Он охватывает одноходовые и многоходовые диалоги с большими языковыми моделями, агентами, использованием инструментов, взаимодействиями по протоколу Model Context Protocol (MCP), а также мультимодальные входные данные. Каждое правило опирается на нейронные доказательства, полученные из классификаторов машинного обучения и оценок больших языковых моделей, наряду с символическими правилами, которые проверяют точные условия, последовательности, текстовые соответствия и взаимосвязи инструментов.
Что меняется на практике?
Проект предоставляет общий уровень политик и оценки, который можно использовать для обеспечения защиты агентов во время выполнения, ретроспективного анализа безопасности наборов правил и реагирования на инциденты. Проект разработан для интеграции с комплексной структурой безопасности и защиты ИИ от Cisco, выступая в качестве фактического инструмента обнаружения рисков, определенных этой структурой. Разработчики стремятся сделать Quarry открытым и общим стандартом для описания и обмена информацией об атаках агентов ИИ, подобно другим стандартам, таким как Snort, YARA и Sigma.
Противодействие продвинутым угрозам
Этот шаг является ответом на зафиксированные инциденты, в которых инструменты для написания текстов и программирования использовались для осуществления атак, разбитых на мелкие рутинные задачи с целью обхода традиционных средств защиты. Истинная цель, заключающаяся в краже данных, становилась очевидной только при объединении запросов в правильной последовательности. Чтобы преодолеть проблему медленного написания правил вручную по сравнению со скоростью, с которой злоумышленники используют ИИ, проект предоставляет специальный плагин для агентов программирования, позволяющий писать, компилировать, оптимизировать и тестировать правила Quarry с использованием простого описания рисков организации на английском языке.
Стартовый пакет проекта включает в себя предметно-ориентированный язык, удобный для чтения диалогов и использования инструментов, среду выполнения оценки с безопасными ограничениями и настраиваемыми ресурсами, сканер командной строки, пакет разработки программного обеспечения на Python (Python SDK), дополнительные типовые операции для семантических сигналов, а также специальный плагин для агентов программирования, совместимых с протоколом MCP, и рабочий процесс для проверки правил на соответствие наборам данных с вредоносной и доброкачественной активностью.