Cisco, kötü niyetli amaçlarını yalnızca görünüşte masum ve izin verilen eylemler dizisini takip ederek ortaya koyan yapay zeka ajanı saldırılarını tespit etmeyi amaçlayan Project Quarry adlı yeni bir açık kaynaklı proje başlattı. Her eylemi ayrı ayrı değerlendiren geleneksel güvenlik kontrollerinin aksine bu proje, zararlı faaliyetleri küçük rutin görevlere bölen karmaşık saldırıların neden olduğu güvenlik açıklarını ele alıyor.
Quarry, makine öğrenimi yargılarını ve katı kural kontrollerini birleştiren nöro-sembolik bir kural dili olarak tanımlanıyor. Bu dil; büyük dil modelleri, ajanlar, araç kullanımı ve Model Context Protocol (MCP) etkileşimlerinin yanı sıra çok modlu girdiler genelindeki tek turlu veya çok turlu konuşmaları kapsıyor. Her kural, makine öğrenimi sınıflandırmalarından ve büyük dil modeli yargıçlarından elde edilen nöral kanıtlara ve ayrıca kesin koşulları, dizileri, metin eşleşmelerini ve araç ilişkilerini doğrulayan sembolik kurallara dayanıyor.
Pratikte neler değişiyor?
Proje, ajanlar üzerinde çalışma zamanı korumasını zorunlu kılmak, kural kümesi güvenliğini geriye dönük olarak analiz etmek ve olaylara müdahale etmek için kullanılabilecek ortak bir politika ve değerlendirme katmanı sağlıyor. Proje, Cisco'nun entegre yapay zeka güvenlik ve emniyet çerçevesiyle entegre olacak şekilde tasarlandı ve çerçevenin tanımladığı riskler için fiili tespit aracı olarak hizmet ediyor. Geliştiriciler, Snort, YARA ve Sigma gibi diğer standartlara benzer şekilde, Quarry'yi yapay zeka ajanı saldırılarını ifade etmek ve paylaşmak için açık ve ortak bir standart haline getirmeyi hedefliyor.
Gelişmiş tehditlerle mücadele
Bu adım, geleneksel savunmaları aşmak için küçük rutin görevlere bölünmüş saldırıları gerçekleştirmek üzere yazma ve programlama yardımcı araçlarının kullanıldığı kayıtlı olaylara bir yanıt niteliğinde. Bu tür saldırılarda, veri hırsızlığı şeklindeki gerçek hedef ancak istekler doğru sırayla bir araya getirildiğinde ortaya çıkıyor. Saldırganların yapay zekayı kullanma hızına kıyasla manuel kural yazmanın yavaşlığı zorluğunu aşmak için proje, kurumsal risklerin basit bir İngilizce açıklaması kullanılarak Quarry kurallarının yazılması, derlenmesi, optimize edilmesi ve test edilmesi için kodlama ajanlarına özel bir eklenti sunuyor.
Projenin başlangıç paketi; konuşmalar ve araç kullanımı için okunabilir bir alana özgü dil, güvenli sınırlar ve yapılandırılabilir kaynaklara sahip bir değerlendirme çalışma zamanı, bir komut satırı tarayıcısı, bir Python yazılım geliştirme kiti (SDK), anlamsal sinyaller için isteğe bağlı model işlemleri, MCP protokolü ile uyumlu kodlama ajanları için özel bir eklenti ve kuralların pozitif ve iyi huylu veri kümelerine karşı doğrulanması için bir iş akışı içeriyor.