시스코(Cisco)는 겉보기에는 무해하고 승인된 일련의 행동을 추적해야만 악의적인 의도가 드러나는 AI 에이전트 공격을 탐지하기 위한 오픈소스 프로젝트인 'Project Quarry'를 출시했습니다. 각 작업을 개별적으로 평가하는 기존 보안 제어 방식과 달리, 이 프로젝트는 악성 활동을 작은 일상적인 작업으로 분할하는 복합 공격으로 인해 발생하는 취약점을 해결합니다.
Quarry는 머신러닝 판단과 엄격한 규칙 검사를 결합한 신경 기호(neuro-symbolic) 규칙 언어로 정의됩니다. 이 언어는 대규모 언어 모델(LLM), 에이전트, 도구 사용, 모델 컨텍스트 프로토콜(MCP) 상호 작용 및 멀티모달 입력을 통한 단일 또는 다중 턴 대화를 포괄합니다. 각 규칙은 머신러닝 분류 및 LLM 판정에서 도출된 신경 증거와 정확한 조건, 시퀀스, 텍스트 일치 및 도구 관계를 확인하는 기호 규칙을 기반으로 합니다.
실질적으로 무엇이 변화하는가?
이 프로젝트는 에이전트에 대한 런타임 보호를 적용하고, 규칙 세트의 보안을 소급 분석하며, 사고에 대응하는 데 사용할 수 있는 공통 정책 및 평가 계층을 제공합니다. 이 프로젝트는 시스코의 통합 AI 보안 및 안전 프레임워크와 통합되도록 설계되었으며, 해당 프레임워크가 식별하는 위험에 대한 실제 탐지 도구 역할을 합니다. 개발자들은 Quarry를 Snort, YARA, Sigma와 같은 다른 표준과 유사하게 AI 에이전트 공격을 표현하고 공유하기 위한 개방형 공통 표준으로 만드는 것을 목표로 합니다.
고도화된 위협에 대응
이번 조치는 기존 방어를 우회하기 위해 작은 일상적인 작업으로 분할된 공격을 실행하는 데 글쓰기 및 프로그래밍 보조 도구가 사용된 사례들에 대응하기 위한 것입니다. 데이터 탈취라는 실제 목표는 요청들이 올바른 순서로 결합되었을 때만 드러났습니다. 공격자들이 AI를 사용하는 속도에 비해 수동으로 규칙을 작성하는 속도가 느리다는 문제를 극복하기 위해, 이 프로젝트는 기업의 위험을 간단한 영어 설명으로 작성하여 Quarry 규칙을 생성, 조합, 최적화 및 테스트할 수 있는 코딩 에이전트용 플러그인을 제공합니다.
프로젝트의 시작 패키지에는 대화 및 도구 사용을 위한 읽기 쉬운 도메인 특화 언어(DSL), 안전한 경계와 구성 가능한 리소스가 포함된 평가 런타임, 명령줄 스캐너, 파이썬 SDK(Python SDK), 의미론적 신호를 위한 선택적 모델 작업, MCP 호환 코딩 에이전트를 위한 전용 플러그인, 그리고 긍정적 및 정상 데이터 세트에 대해 규칙의 유효성을 검사하는 워크플로우가 포함되어 있습니다.