Cisco hat ein neues Open-Source-Projekt namens Project Quarry gestartet, das darauf abzielt, Angriffe von KI-Agenten zu erkennen, deren böswillige Absichten erst durch die Verfolgung einer Abfolge von Aktionen sichtbar werden, die oberflächlich betrachtet harmlos und autorisiert erscheinen. Im Gegensatz zu herkömmlichen Sicherheitskontrollen, die jede Maßnahme isoliert bewerten, adressiert dieses Projekt die Schwachstellen, die durch komplexe Angriffe entstehen, welche schädliche Aktivitäten in kleine Routineaufgaben unterteilen.
Quarry wird als neuro-symbolische Regelsprache definiert, die Erkenntnisse aus dem maschinellen Lernen mit strengen Regelprüfungen kombiniert. Sie deckt Einzel- und Mehrrunden-Konversationen über große Sprachmodelle (LLMs), Agenten, Werkzeugnutzung, Interaktionen mit dem Model Context Protocol (MCP) sowie multimodale Eingaben ab. Jede Regel stützt sich auf neuronale Beweise, die aus Klassifizierungen des maschinellen Lernens und LLM-Richtern abgeleitet werden, sowie auf symbolische Regeln, die präzise Bedingungen, Sequenzen, Textübereinstimmungen und Werkzeugbeziehungen überprüfen.
Was ändert sich in der Praxis?
Das Projekt bietet eine gemeinsame Richtlinien- und Bewertungsebene, die verwendet werden kann, um Laufzeitschutz für Agenten durchzusetzen, die Sicherheit von Regelsätzen retrospektiv zu analysieren und auf Vorfälle zu reagieren. Das Projekt wurde so konzipiert, dass es sich in Ciscos integriertes KI-Sicherheits- und Schutz-Framework integrieren lässt, wobei es als tatsächliches Erkennungswerkzeug für die vom Framework identifizierten Risiken dient. Die Entwickler streben an, Quarry zu einem offenen und gemeinsamen Standard für die Beschreibung und den Austausch von KI-Agenten-Angriffen zu machen, ähnlich wie andere Standards wie Snort, YARA und Sigma.
Bekämpfung fortgeschrittener Bedrohungen
Dieser Schritt reagiert auf dokumentierte Vorfälle, bei denen Schreib- und Programmierassistenten zur Durchführung von Angriffen eingesetzt wurden, die in kleine Routineaufgaben unterteilt waren, um herkömmliche Abwehrmechanismen zu umgehen. Das eigentliche Ziel, der Datendiebstahl, wurde erst sichtbar, als die Anfragen in der richtigen Reihenfolge zusammengeführt wurden. Um die Herausforderung zu bewältigen, dass manuelle Regeldefinitionen im Vergleich zur Geschwindigkeit, mit der Angreifer KI nutzen, zu langsam sind, bietet das Projekt eine Erweiterung für Programmieragenten an, um Quarry-Regeln mithilfe einer einfachen englischen Beschreibung der Unternehmensrisiken zu schreiben, zusammenzustellen, zu optimieren und zu testen.
Das Starter-Paket des Projekts umfasst eine für Konversationen und Werkzeugnutzung lesbare domänenspezifische Sprache, eine Evaluierungs-Laufzeitumgebung mit sicheren Grenzen und konfigurierbaren Ressourcen, einen Befehlszeilen-Scanner, ein Python-Software-Development-Kit (SDK), optionale Modelloperationen für semantische Signale sowie eine dedizierte Erweiterung für Programmieragenten, die mit dem MCP-Protokoll kompatibel sind, und einen Workflow zur Validierung von Regeln anhand von positiven und gutartigen Datensätzen.