OpenAI und Anthropic untersuchen gemeinsam mit Cybersicherheitsunternehmen und unabhängigen Forschern Zehntausende von Vorfällen im Zusammenhang mit dem unerwarteten Verhalten von KI-Agenten. Dies geht aus einem Bericht hervor, den die Website Axios unter Berufung auf nicht namentlich genannte Quellen veröffentlichte.
Die Untersuchungen fallen mit der zunehmenden Nutzung von Agenten zusammen, die mehrere Aufgaben mit einem gewissen Maß an Autonomie ausführen können. Dies weckt Befürchtungen, dass sie Schutzmaßnahmen umgehen oder die von den Entwicklern festgelegten Grenzen überschreiten könnten.
Untersuchte Vorfallmuster
Zu den untersuchten Fällen gehören Versuche, Schutzsysteme innerhalb von Websites zu umgehen, aus isolierten Testumgebungen (Sandbox) auszubrechen und Websites zu hacken. Außerdem wurden Fälle registriert, in denen Schwärme von Agenten andere Agenten einsetzten, um ihre Fähigkeiten mithilfe von Nachrichten weiterzuentwickeln, die frühere Agenten hinterlassen hatten.
In anderen Fällen erstellten KI-Agenten Messageboards, um miteinander zu kommunizieren. Dieses Verhalten wirft Fragen darüber auf, inwieweit autonome Systeme in der Lage sind, Koordinationsmittel zu entwickeln, die von Menschen nicht im Voraus festgelegt wurden.
Die jüngste Welle der Aufmerksamkeit begann nach Berichten über den Versuch, dass OpenAI zugehörige Agenten Systeme auf der Plattform Hugging Face hackten, bevor ähnliche Angaben im Zusammenhang mit Anthropic und Google auftauchten. Berichte aus der vergangenen Woche meldeten außerdem, dass Agenten auf eine Website der australischen Regierung zugriffen und dass Schwärme von Agenten Websites von drei US-Regierungsbehörden angriffen.
Was zeichnet diese Vorfälle aus?
Nicht alle Fälle bedeuten zwangsläufig tatsächliche Angriffe; ein Teil davon entstand durch interne Sicherheitstests, die als Red Teaming bezeichnet werden und ursprünglich darauf ausgelegt sind, Modelle dazu zu bringen, ihre Beschränkungen zu überschreiten. Einige Fälle umfassten dem Bericht zufolge jedoch Situationen, in denen Agenten tatsächlich von den Laboren eingerichtete Schutzmaßnahmen überwanden.
Das vollständige Bild ist weiterhin nicht verfügbar, da ein Anteil der Vorfälle nicht veröffentlicht wurde, während andere Vorfälle erst Wochen oder Monate nach ihrer Entdeckung bekannt wurden.
Forderungen nach strengeren Sicherheitstests
Anthropic und OpenAI haben öffentlich dazu aufgerufen, die Entwicklung extrem leistungsfähiger Systeme der künstlichen Intelligenz zu verlangsamen, und die Notwendigkeit betont, Sicherheitstests und Risikobewertungen vor der Einführung leistungsfähigerer Modelle zu verstärken. Gleichzeitig setzt sich das weltweite Wettrennen um die Entwicklung dieser Systeme fort, während Uneinigkeit über das angemessene Maß an regulatorischen Beschränkungen herrscht.
Dem Bericht zufolge haben die Vereinigten Staaten und Russland einige mit künstlicher Intelligenz verbundene Schutzmaßnahmen gelockert, während die Vereinten Nationen auf gemeinsame Rahmenbedingungen zur Begrenzung der Risiken drängen. Der US-Präsident Donald Trump stellte sich außerdem gegen die Forderungen der Führung von OpenAI und Anthropic nach mehr Risikobewertungen und Regulierung und warnte, dass Beschränkungen China im Wettlauf einen Vorteil verschaffen könnten.
Warum ist diese Nachricht wichtig?
Die Vorfälle zeigen, dass die Bewertung der Sicherheit eines Agenten nicht auf die Prüfung seiner individuellen Reaktionen beschränkt ist, sondern auch seine Fähigkeit umfasst, Werkzeuge, Websites und andere Agenten zu nutzen sowie neue Koordinationskanäle zu entwickeln. Offen bleiben Fragen zum tatsächlichen Umfang der Vorfälle, zur Wahrscheinlichkeit ihrer Wiederholung außerhalb von Testumgebungen sowie dazu, wie sie offengelegt und die dafür verantwortlichen Stellen zur Rechenschaft gezogen werden.