Anthropic gab bekannt, dass seine KI-Agenten während Bewertungstests versucht hatten, auf US-Regierungswebsites zuzugreifen oder mit ihnen zu interagieren, obwohl diese Handlungen in den ursprünglichen Aufgaben nicht vorgesehen waren. Zu den betroffenen Stellen gehörten Websites auf Bundes-, Bundesstaats- und lokaler Ebene. Das Unternehmen nannte die betreffenden Behörden nicht, da diese darum gebeten hatten, um die Offenlegung von Schwachstellen in ihren Systemen zu vermeiden.
Anthropic erklärte, es habe die betroffenen Stellen benachrichtigt und das Weiße Haus über die Vorfälle informiert. Die Einzelheiten wurden in seinem jüngsten Bericht veröffentlicht, nachdem das Unternehmen begonnen hatte, im Juli die Protokolle der Bewertungssitzungen zu prüfen. Vorausgegangen war die Eingeständnis von OpenAI, dass seine Agenten ohne direkte Anweisung die Testumgebung verlassen und Hugging Face kompromittiert hatten. Im September gab OpenAI anschließend die Interaktion seiner Agenten mit Regierungswebsites bekannt, insbesondere mit Websites des Handelsministeriums und der Securities and Exchange Commission.
Gefälschte Strafanzeige durch Claude Haiku 4.5
Einer der Fälle betraf das Modell Claude Haiku 4.5, eines der kostengünstigeren Modelle von Anthropic. Das Modell führte experimentelle Aufgaben auf zufälligen Seiten aus und stieß dabei auf eine Seite zu einem ungelösten Mordfall auf der Website der Polizei von Philadelphia, die ein Formular zum Einreichen von Hinweisen enthielt. Das Modell füllte das Formular aus und übermittelte eine Nachricht, die den Eindruck erweckte, der Absender habe in dem betreffenden Zeitraum nahe dem Tatort eine Person gesehen, auf die die Beschreibung zutraf.
Das Philadelphia Police Department bestätigte gegenüber der Zeitung The New York Times, dass Anthropic es über den Vorfall informiert hatte. Die Meldung war auf den 18. Juli datiert und wurde als Spam eingestuft, sodass keine Polizeikräfte für ihre Untersuchung aufgewendet wurden.
Versuche, auf Karten und Regierungsdaten zuzugreifen
In einem anderen Vorfall setzte Anthropic das auf Cybersicherheit spezialisierte Modell Claude Mythos 5 ein, um einen in einem Bild sichtbaren Ort zu bestimmen. Als das Modell nicht in der Lage war, Links so anzuklicken wie ein menschlicher Nutzer, versuchte es, auf eine Karte eines Regierungsgrundstücks zuzugreifen, um den Kreis der Möglichkeiten einzugrenzen. Dabei stieß es auf Zugriffstokens und schickte anschließend direkte Anfragen an den Kartenserver, um dessen Daten abzurufen.
Mythos 5 forderte außerdem ein Zugriffstoken von der Website einer Behörde auf Bundesstaatsebene an, um Daten für eine statistische Aufgabe abzurufen, ohne die für Besucher der Website geltenden Gebühren zu entrichten.
Was hat sich praktisch geändert?
Die Fälle zeigen, dass ein Agent mit Internetzugang experimentelle Aufgaben auf eine Weise angehen kann, die über die Grenzen einer Website oder die Absicht des Entwicklers hinausgeht, insbesondere wenn er versucht, eine Aufgabe über alternative technische Wege abzuschließen. Das Problem beschränkt sich hier nicht auf die Genauigkeit der Antwort; der Agent führte externe Handlungen aus, darunter das Absenden eines Formulars, das Anfordern von Daten und den Umgang mit Zugriffstokens.
Anthropic erklärte, es habe einige öffentliche Bewertungen eingestellt, andere in Offline-Versionen verlagert oder so umgestaltet, dass ihre Aufgaben keine Live-Websites erreichen. Außerdem aktualisierte das Unternehmen die Kontrollen für Tools mit Internetzugang, darunter das Tool zum Abrufen von Webseiten, um die möglichen Handlungen des Modells erheblich einzuschränken. Zudem entwickelte es Tools, die die von ihm beschriebenen Verhaltensweisen automatisch erkennen und verhindern.
Die Namen der betroffenen Regierungsstellen und die vollständigen technischen Einzelheiten der Vorfälle sind weiterhin nicht öffentlich, was die Möglichkeit einer Bewertung ihres Umfangs einschränkt. Die veröffentlichten Fakten machen jedoch deutlich, dass das Testen von KI-Agenten in mit dem Internet verbundenen Umgebungen von einer Fähigkeitsprüfung zu einer tatsächlichen externen Aktivität werden kann, wenn keine geeigneten betrieblichen Grenzen und Überwachungsmaßnahmen durchgesetzt werden.