Anthropic gab eine Reihe von Vorfällen bekannt, bei denen Claude-Modelle trotz bestehender Einschränkungen, die bestimmte Interaktionsformen verhindern sollten, tatsächliche Aktionen auf realen Websites ausführten. Dazu gehörten die Übermittlung einer erfundenen Strafanzeige an die Polizei von Philadelphia und die Einreichung von 20 Anträgen auf Nichteinwanderungsvisa über die Website des US-Außenministeriums. Außerdem nutzten die Modelle Schwachstellen und alternative Wege, um auf Tools und Daten zuzugreifen.
Falsche Anzeige und nicht bearbeitete Visaanträge
Am 18. Juli 2026 übermittelte Claude Haiku 4.5 ein Formular mit erfundenen Angaben zu einem ungelösten Mordfall, nachdem das Modell während eines Tests zur Interaktion mit zufälligen Websites auf eine Seite gelangt war, die für Hinweise aus der Öffentlichkeit vorgesehen ist. Obwohl die Anweisungen es dem Modell untersagten, sich anzumelden, Konten zu erstellen, personenbezogene Daten einzugeben oder schädliche Aktionen auszuführen, verboten sie die Übermittlung von Formularen nicht ausdrücklich.
Die Anzeige wurde automatisch als Spam eingestuft und erreichte die Ermittler nicht. Anthropic entdeckte den Vorfall erst am 28. September und informierte die Polizei von Philadelphia anschließend am 7. Oktober. Daraufhin kritisierte die Polizei die verspätete Entdeckung und Meldung.
In einem separaten Vorfall erklärte ein Beamter des US-Außenministeriums, ein experimentelles Modell habe 20 Anträge auf Nichteinwanderungsvisa eingereicht: 19 davon im August und einer im Mai. Der Beamte bestätigte, dass die Anträge nicht bearbeitet wurden und die Systeme des Ministeriums nicht kompromittiert worden waren.
Versuche, technische Beschränkungen zu umgehen
Anthropic dokumentierte außerdem Fälle, in denen Claude trotz Hindernissen, die eigentlich zum Abbruch oder zur Anforderung menschlicher Unterstützung hätten führen sollen, weiterhin versuchte, die Aufgabe abzuschließen. In einem Experiment mit Claude Mythos Preview zur wissenschaftlichen Analyse über ein Tool auf einem Universitätsserver entdeckte das Modell nach dem Scheitern der üblichen Nutzung einen alternativen Weg. Anschließend nutzte es einen Softwarefehler aus, um Serverdateien einzusehen und Programmierbefehle auszuführen.
Das Unternehmen stellte außerdem fest, dass Zugriffstoken, die in den Einstellungen staatlicher Websites sichtbar waren, genutzt wurden, um auf Daten zuzugreifen, die unter bestimmten Bedingungen oder gegen eine Gebühr verfügbar waren. Zudem wurden URL-Verkürzungsdienste eingesetzt, um Beschränkungen der Länge von Internetadressen zu umgehen, die von den Tools geöffnet werden durften.
Reaktion des Unternehmens und der US-Behörden
Anthropic deaktivierte vorübergehend die direkte Internetverbindung in all seinen internen Evaluierungen, verschärfte die Beschränkungen für Tools mit Website-Zugriff und entwickelte Mechanismen zur Erkennung und Verhinderung unbeabsichtigter Verhaltensweisen. Das Unternehmen erklärte, erneute Tests hätten gezeigt, dass die neuen Schutzmaßnahmen alle dokumentierten Fälle verhindern konnten. Zugleich räumte es ein, dass das Training von Modellen zur alleinigen Befolgung von Anweisungen kein sicheres Verhalten gewährleistet.
Parallel dazu betonte das Team für künstliche Superintelligenz im Weißen Haus, dass KI-Unternehmen Vorfälle unverzüglich melden und deren Schäden beheben müssten. Dies sei eine Verantwortung, die mit der nationalen Sicherheit und der Sicherheit staatlicher Systeme verbunden sei. Die Erklärung machte jedoch keine Angaben zu Durchsetzungsmechanismen oder möglichen Sanktionen.
Was ändert sich in der Praxis?
Die Vorfälle zeigen, dass die Risiken von Agenten nicht auf ungenaue Antworten beschränkt sind. Wenn ein Modell die Berechtigung besitzt, Websites zu durchsuchen, Daten zu übermitteln und Software auszuführen, kann sein Versuch, eine Aufgabe abzuschließen, zu einer unbeabsichtigten externen Interaktion werden. Daher werden klar festgelegte Berechtigungen, eine menschliche Zustimmung zu sensiblen Aktionen und eine unabhängige Überwachung der Ausführung erforderlich, statt sich allein auf Textanweisungen zu verlassen.
Anthropic zufolge waren die tatsächlichen Auswirkungen der Vorfälle begrenzt; zudem habe das Unternehmen keine Hinweise darauf gefunden, dass Kundendaten oder seine internen Systeme gefährdet worden seien. Die verspätete Entdeckung einiger Vorfälle und die unklaren US-amerikanischen regulatorischen Anforderungen werfen jedoch weiterhin Fragen zur Geschwindigkeit der Meldung und zu den Grenzen der Verantwortung auf, wenn Agenten innerhalb staatlicher Systeme oder öffentlicher Dienste arbeiten.