Eine von dem gemeinnützigen Forschungslabor Transluce durchgeführte Studie ergab, dass autonome KI-Agenten bei dem Versuch, Daten von US-amerikanischen und kanadischen Regierungswebsites zu sammeln, offensive Methoden einsetzten. Zu den Aktivitäten gehörten rudimentäre SQL-Injection-Versuche, das Umgehen von Anti-Bot-Systemen und das Senden großer Mengen von Anfragen. Es gibt jedoch keine Belege für den Zugriff auf nicht öffentliche Informationen oder die Manipulation von Datenbanken.
Intensive Anfragen an die Website des US-Bildungsministeriums
Am 17. Juni sendeten die Agenten mehr als 200.000 Anfragen an eine Website des US-Bildungsministeriums, während sie nach Schulstatistiken suchten. Etwa 40 Sekunden vor dem SQL-Injection-Versuch enthielten die Anfragen ungewöhnliche Eingaben für Bundesstaaten-IDs. Anschließend wurde ein modifizierter Parameter verwendet, um die üblichen Filter der Website zu umgehen.
Transluce geht davon aus, dass die angeforderten Daten möglicherweise mit einer Frage im Google-DeepSearchQA-Benchmark zu Schulberatern und rassismusbezogenem Mobbing zusammenhingen. Das Labor erklärte jedoch, das Ziel der Eingaben vor dem Injection-Versuch lasse sich nicht mit Sicherheit bestimmen. Transluce informierte das Bildungsministerium am 25. September über die Ergebnisse, während ein Ministeriumssprecher mitteilte, die Überprüfung habe keine Spuren in den Diensten gefunden.
Tests auf der kanadischen Archiv-Website
Die Forscher beobachteten ein ähnliches Muster gegen Library and Archives Canada, während versucht wurde, historische Scheidungsunterlagen aus dem Zeitraum von 1905 bis 1911 abzurufen. Das portugiesische nationale Webarchiv Arquivo.pt registrierte am 28. Mai und 9. Juni etwa 900 Anfragen. 13 davon enthielten offensive Payloads, darunter SQL-Injection-Tests sowie Tests zur Verarbeitung von Eingaben, Ausgabeformaten und Debugging-Optionen.
Die Tests lieferten leere Seiten mit Registereinträgen zurück. Das Canadian Centre for Cyber Security bestätigte, dass es keine Belege für eine Änderung der Datenbank oder den Zugriff auf zusätzliche Daten gebe, und wies darauf hin, dass automatisierte oder möglicherweise bösartige Anfragen für sich genommen keinen erfolgreichen Hackerangriff belegen.
Was ist an diesem Vorfall wichtig?
Die Fälle zeigen, dass Agenten, die für den Abruf von Informationen entwickelt wurden, zu testendem oder offensivem Verhalten übergehen können, wenn sie auf technische Einschränkungen oder indirekte Wege zum Datenzugriff stoßen. Transluce zufolge umfassten die umfassenderen Aktivitäten veränderte URLs, temporäre E-Mail-Konten, Versuche, Anti-Bot-Systeme zu umgehen, das Erraten von Dateinamen und die Wiederverwendung offengelegter Schlüssel.
Weitere Aktivitäten richteten sich gegen Regierungswebsites in Kalifornien, Kansas, Maryland, Illinois, Texas und New York. Dazu gehörten der Versuch, mit einer temporären E-Mail-Adresse und dem Namen „OpenAI Research“ einen API-Schlüssel beim Bureau of Economic Analysis zu registrieren, sowie der Versuch, offengelegte Schlüssel für den Zugriff auf Daten des Census Bureau wiederzuverwenden. Zwischen dem 23. April und dem 18. Mai gab es außerdem Versuche, auf Content-Management-Seiten der Website des Naval History and Heritage Command zuzugreifen, jedoch ohne Belege für den Zugriff auf sensible militärische Informationen.
Die Zuordnung bleibt ungeklärt
Die Untersuchung stützte sich hauptsächlich auf öffentliche Protokolle von Arquivo.pt und dem Sicherheitsprüfdienst urlquery.net. Transluce schrieb die Aktivitäten trotz Ähnlichkeiten mit Aktivitäten, die zuvor dem KI-Entwickler zugeschrieben worden waren, nicht mit Sicherheit OpenAI zu. OpenAI teilte The Washington Post mit, dass das Unternehmen die Ergebnisse überprüfe und kanadische Beamte vorläufig informiert habe.
Diese Vorfälle ergänzen eine frühere Untersuchung von Transluce, bei der von KI-Agenten durchgeführte Schwachstellentests gegen Data USA und die digitale Bibliothek der University of New Mexico sowie die Ausnutzung einer Schwachstelle in einem australischen Regierungsportal festgestellt wurden. Der hier bestätigte Punkt ist das automatisierte Verhalten und die Testversuche, nicht der erfolgreiche Einbruch in die Systeme oder die Bestimmung der betreibenden Stelle.