Google betrachtet indirekte Prompt-Injection (IPI) als eine sich weiterentwickelnde Bedrohung, die nicht einmalig gelöst und anschließend abgehakt werden kann. Diese Art von Angriff zielt auf KI-Anwendungen ab, die mit mehreren Datenquellen und Tools arbeiten, etwa Workspace mit Gemini. Angreifer können dabei schädliche Anweisungen in Daten oder Tools einbetten, die das Modell während der Bearbeitung einer Nutzeranfrage verwendet – selbst ohne direkte Eingabe des Nutzers.
In einem Blogbeitrag von Adam Gavish aus Googles Team für die Sicherheit generativer KI erklärt Google, dass die zunehmende Nutzung großer Sprachmodelle für agentische Automatisierung sowie die Vielfalt der von ihnen verarbeiteten Inhalte eine sich ständig verändernde Umgebung für gegnerische Angriffe schaffen. Daher entwickelt das Unternehmen einen fortlaufenden Ansatz, der Sicherheitsforschung, Angriffstests, synthetische Daten, Anwendungskontrollen sowie die Aktualisierung von Machine-Learning- und Sprachmodellen miteinander verbindet.
Erkennung von Angriffen aus mehreren Quellen
Der Prozess beginnt mit der Erkennung und Katalogisierung neuer Angriffspfade, bevor Angreifer sie in größerem Umfang ausnutzen können. Google setzt dafür interne und externe Programme ein, darunter menschliche Red-Team-Tests. Dabei führen spezialisierte Teams Angriffe auf Grundlage realistischer Nutzerprofile durch, um Schwachstellen in Sicherheit und Schutzmechanismen aufzudecken. Anschließend stimmen sie sich mit den Produktteams ab, um die entdeckten Probleme zu beheben.
Das Unternehmen nutzt außerdem automatisierte Angriffstests über dynamische, durch Machine Learning unterstützte Frameworks. Diese Frameworks erzeugen Angriffspayloads und verändern sie algorithmisch wiederholt, um fortgeschrittene Bedrohungen in großem Maßstab zu simulieren. Dadurch lassen sich komplexe Angriffspfade abbilden und die Wirksamkeit von Sicherheitskontrollen in mehr Randfällen testen, als manuelle Tests allein abdecken könnten.
Das Google AI Vulnerability Rewards Program ermöglicht außerdem die Zusammenarbeit mit externen Sicherheitsforschern, die neue, IPI ausnutzende Angriffe entdecken. Google veranstaltet zudem regelmäßig Live-Hacking-Events, bei denen eingeladene Forscher Zugang zu Vorabfunktionen erhalten, um neue Schwachstellen aufzudecken. Danach überprüfen und reproduzieren die Teams die Probleme und beheben sie.
Katalogisierung von Schwachstellen und Erweiterung der Angriffsdaten
Google beobachtet auch öffentlich bekannt gemachte Angriffe über Open-Source-Intelligence-Quellen, darunter soziale Medien, Pressemitteilungen, Blogs und andere Quellen. Neue Schwachstellen werden aus diesen Quellen extrahiert, anschließend intern nachgebildet und katalogisiert, um sicherzustellen, dass die Produkte nicht betroffen sind.
Jede neue Schwachstelle wird von Teams aus Google Trust, Security, & Safety analysiert. Der Prozess umfasst die Reproduktion der Schwachstelle, die Überprüfung, ob sie bereits erfasst wurde, ihre Zuordnung zu einer Angriffstechnik und einer Auswirkungskategorie sowie die Zuweisung an die zuständigen Verantwortlichen. Auf diese Weise werden Ergebnisse aus Tests und externen Quellen in eine bearbeitbare und nachverfolgbare Liste überführt.
Nachdem Angriffe entdeckt, bereinigt und katalogisiert wurden, nutzt Google das Tool Simula, um synthetische Daten zu erzeugen, die den Umfang der neuen Angriffe erweitern. Dadurch lassen sich mehrere Varianten eines Angriffs erstellen, um Vollständigkeit und Abdeckung zu verbessern und neue Datensätze für Training und Validierung vorzubereiten. Dem Blogbeitrag zufolge führte dieser Prozess zu einer Steigerung der Generierung synthetischer Daten um 75 %. Dies unterstützt die Bewertung und das erneute Training der Abwehrmodelle sowie die Aktualisierung des Datensatzes, der zur Berechnung und Berichterstattung über die Wirksamkeit der Abwehrmaßnahmen verwendet wird.
Aktualisierung der Abwehrmaßnahmen auf mehreren Ebenen
Google verlässt sich nicht auf eine einzige Schutzschicht. Deterministische Abwehrmaßnahmen wie Nutzerbestätigungen, die Bereinigung von URLs und Richtlinien für die Tool-Reihenfolge reagieren auf neue Angriffe durch einfache Konfigurationsaktualisierungen. Diese Kontrollen werden über eine zentrale Richtlinien-Engine verwaltet, die Einstellungen für grundlegende Tool-Aufrufe, die Bereinigung von URLs und die Tool-Reihenfolge enthält. Dadurch können schnelle Korrekturen vorgenommen werden, etwa das Entfernen schädlicher Muster mithilfe regulärer Ausdrücke – und zwar schneller als in den Aktualisierungszyklen von Machine-Learning- oder Sprachmodellen.
Abwehrmaßnahmen auf Basis von Machine Learning werden mit synthetischen Daten erneut trainiert, die Varianten der entdeckten Angriffe enthalten. Google teilt diese Daten in Trainings- und Validierungssätze auf, sodass die Wirksamkeit anhand von Beispielen gemessen wird, die nicht im Training verwendet wurden. Dieser Ansatz soll Reproduzierbarkeit und Konsistenz der Trainings- und Testdaten gewährleisten und zugleich eine skalierbare Grundlage für eine künftig vollständig automatisierte Modellaktualisierung schaffen.
Auch Abwehrmaßnahmen auf Basis von Sprachmodellen werden durch Prompt Engineering weiterentwickelt, indem Systemanweisungen anhand synthetischer Datenbeispiele und vereinbarter Messwerte für die Wirksamkeit der Abwehr verbessert werden. Parallel dazu arbeitet Google an der Härtung des Gemini-Modells, um dessen interne Fähigkeit zu verbessern, schädliche Anweisungen in Daten zu erkennen und zu ignorieren und gleichzeitig die beabsichtigte Nutzeranfrage auszuführen. Das Unternehmen erklärt, dieser Prozess habe Geminis Fähigkeit verbessert, injizierte Anweisungen zu erkennen und zu ignorieren, und die Erfolgsrate der Angriffe gesenkt, ohne die Effizienz des Modells bei normalen Vorgängen zu beeinträchtigen.
Messung der Wirksamkeit vor der Einführung von Verbesserungen
Google fügt nicht einfach neue Kontrollen hinzu, sondern simuliert Angriffe auf mehrere Funktionen und Anwendungen von Workspace, etwa Gmail und Docs, und verwendet dabei einen einheitlichen Bestand an Ressourcen, um eine konsistente Bewertung zu gewährleisten. Um die tatsächlichen Auswirkungen einer bestimmten Verbesserung zu bestimmen, beispielsweise einer Aktualisierung eines Machine-Learning-Modells oder einer Änderung eines Prompts für ein Sprachmodell, führt das Unternehmen die umfassende Bewertung sowohl mit aktivierter als auch mit deaktivierter Abwehr durch.
Dieser Vergleich liefert „Vorher-und-nachher“-Messwerte, mit denen sich die Wirksamkeit der Änderung überprüfen und der kontinuierliche Verbesserungszyklus unterstützen lässt. Google ist der Ansicht, dass die Natur von IPI eine mehrschichtige Abwehr und einen wiederholten Prozess erfordert, der Sicherheitsforschung, automatisierte Verarbeitungspipelines und fortschrittliche Modelle miteinander verbindet, anstatt sich auf eine statische Lösung für ein Problem zu verlassen, dessen Erscheinungsform sich mit der Weiterentwicklung agentischer Anwendungen und Datenquellen verändert.