思科(Cisco)推出了一个名为 Project Quarry 的新开源项目,旨在发现那些只有通过追踪看似无害且经过授权的一系列操作才能显现出恶意意图的 AI 代理攻击。与评估每个动作的传统安全控制不同,该项目旨在解决因将恶意活动分解为小型常规任务而产生的复合攻击所带来的漏洞。
Quarry 被定义为一种神经符号规则语言,它结合了机器学习判断和严格的规则检查。它涵盖了跨大语言模型、代理、工具使用、模型上下文协议(MCP)交互以及多模态输入的单轮或多轮对话。每条规则都依赖于来自机器学习分类器和大语言模型裁判的神经证据,以及验证精确条件、序列、文本匹配和工具关系的符号规则。
实际发生了什么变化?
该项目提供了一个通用的策略和评估层,可用于对代理实施运行时保护、对规则集进行回顾性安全分析以及响应事件。该项目旨在与思科的集成 AI 安全与防护框架集成,作为该框架所识别风险的实际检测工具。开发人员的目标是使 Quarry 成为表达和共享 AI 代理攻击的通用开放标准,类似于 Snort、YARA 和 Sigma 等其他标准。
应对高级威胁
此举是对已记录事件的回应,这些事件显示攻击者利用写作和编程辅助工具执行攻击,并将攻击分解为小型常规任务以绕过传统防御。只有当请求按正确顺序组合在一起时,窃取数据的真实目标才会显现出来。为了克服手动编写规则的速度慢于攻击者使用 AI 的速度这一挑战,该项目提供了一个用于编程代理的插件,可以使用简单的英语描述企业风险来编写、编译、优化和测试 Quarry 规则。
该项目的入门包包括一种用于对话和工具使用的特定领域语言、具有安全限制和可配置资源的可评估运行时、命令行扫描器、Python 软件开发工具包(Python SDK)、用于语义信号的可选模型操作,以及一个专为符合 MCP 协议的编程代理设计的插件,以及一个用于根据正面和良性数据集验证规则的工作流。