A Cisco lançou um novo projeto de código aberto chamado Project Quarry, que visa detectar ataques de agentes de inteligência artificial cujas intenções maliciosas só aparecem ao rastrear uma sequência de ações que, à primeira vista, parecem inocentes e autorizadas. Ao contrário dos controles de segurança tradicionais que avaliam cada ação separadamente, este projeto surge para abordar as vulnerabilidades resultantes de ataques compostos que fragmentam atividades maliciosas em pequenas tarefas rotineiras.
O Quarry é definido como uma linguagem de regras neuro-simbólicas que combina julgamentos de aprendizado de máquina com verificações de regras rígidas. Ele cobre conversas de turno único ou múltiplo em modelos de linguagem grandes, agentes, uso de ferramentas e interações do protocolo de contexto de modelo (MCP), além de entradas multimodais. Cada regra baseia-se em evidências neurais derivadas de classificadores de aprendizado de máquina e juízes de modelos de linguagem grandes, juntamente com regras simbólicas que verificam condições precisas, sequências, correspondências de texto e relações de ferramentas.
O que muda na prática?
O projeto fornece uma camada comum de políticas e avaliação que pode ser usada para impor proteção em tempo de execução aos agentes, analisar a segurança do conjunto de regras retroativamente e responder a incidentes. O projeto foi projetado para se integrar à estrutura de segurança e proteção de IA da Cisco, servindo como a ferramenta de detecção real para os riscos identificados pela estrutura. Os desenvolvedores pretendem tornar o Quarry um padrão aberto e comum para expressar e compartilhar ataques de agentes de IA, semelhante a outros padrões como Snort, YARA e Sigma.
Enfrentando ameaças avançadas
Este passo responde a incidentes registrados que mostraram o uso de assistentes de escrita e programação para executar ataques divididos em pequenas tarefas rotineiras para contornar defesas tradicionais, onde o objetivo real, que era o roubo de dados, só apareceu quando as solicitações foram agrupadas na sequência correta. Para superar o desafio da lentidão na escrita manual de regras em comparação com a velocidade dos atacantes no uso da IA, o projeto permite uma extensão para agentes de programação escreverem, compilarem, otimizarem e testarem regras do Quarry usando uma descrição simples em inglês dos riscos da organização.
O pacote inicial do projeto inclui uma linguagem de domínio específico legível para conversas e uso de ferramentas, um tempo de execução de avaliação com limites seguros e recursos configuráveis, um scanner de linha de comando, um kit de desenvolvimento de software Python (Python SDK), operações de modelo opcionais para sinais semânticos, além de uma extensão dedicada para agentes de programação compatíveis com o protocolo MCP e um fluxo de trabalho para validar regras contra conjuntos de dados positivos e benignos.