Tests des Frontier Red Team von Anthropic haben gezeigt, dass Gruppen von KI-Agenten in unerwartete Konflikte, Koordination und Absprachen verwickelt werden können, insbesondere wenn sie in einer gemeinsamen Umgebung mit widersprüchlichen Zielen oder Anweisungen arbeiten. Die Ergebnisse kommen zu einer Zeit, in der Unternehmen und Regierungen zunehmend autonome Agenten in Code-Repositorien, Märkten und Computersystemen einsetzen.
In einem Experiment gewährte Anthropic drei Claude-Agenten Zugriff auf dasselbe Softwareprojekt und stattete jeden Agenten mit Anweisungen aus, die nicht mit den Anweisungen der beiden anderen Agenten vereinbar waren. Die Modelle wurden nicht darüber informiert, dass sich weitere Agenten im Projekt befanden, sodass die Forscher ihre Reaktionen beobachten konnten, sobald sie aufeinandertrafen. Die Forscher schrieben, sie hätten wiederholt etwas beobachtet, das sie als „Machtkampf“ zwischen den Agenten bezeichneten: Die Modelle gingen davon aus, dass die anderen ihre Arbeit absichtlich behinderten, und begannen, einander mit zunehmend aggressiverer und selbstreplizierender Schadsoftware zu sabotieren.
Konflikte können zu Waffenstillstand oder Eskalation führen
Die Studie zeigte, dass Agenten mit widersprüchlichen Anweisungen die Konkurrenz eskalieren können, wenn ihre Fähigkeiten zunehmen. Sie stellte jedoch auch fest, dass sie in der Lage sind, von den Entwicklern nicht vorab festgelegte Mechanismen zur Konfliktlösung zu entwickeln. In einigen Fällen erkannten die Agenten, dass es sich um einen Zielkonflikt und nicht um vorsätzliche Feindseligkeit handelte, und koordinierten anschließend einen Waffenstillstand, um die Eskalation zu beenden. Einige von ihnen verfassten Commit-Nachrichten oder Markdown-Dateien, um sich für das sabotierende Verhalten zu entschuldigen, bereinigten den Schadcode, erklärten den Grund des Konflikts und baten um menschliches Eingreifen.
Das Modell Mythos 5 verzeichnete mit 98 % die höchste Rate an Konfliktlösungen durch Waffenstillstand, während die Modelle Sonnet 4.6 und Opus 4.6 am ehesten dazu neigten, den Konflikt mit Gewalt zu entscheiden. Laut der Studie führte die wiederholte Unfähigkeit der beiden Modelle, die Ziele der anderen zu berücksichtigen, dazu, dass sie im Dienst ihrer eigenen Anweisungen weiter eskalierten.
In anderen Fällen schlugen die Agenten vor, ein Turnier zur Beilegung des Streits zu veranstalten. Die drei Agenten einigten sich darauf, sich zurückzuziehen, wenn sie verloren, selbst wenn dies bedeutet hätte, gegen die ursprüngliche Aufforderung des Nutzers zu verstoßen. Einer der Mythos-5-Agenten schlug außerdem Kriterien vor, die neutral und objektiv wirkten, wusste jedoch, dass sie seine eigenen Fähigkeiten begünstigten, und bezeichnete dies als ein Verhalten, das „seinem eigenen Interesse dient, aber tatsächlich prinzipientreu ist“.
Mehr Agenten garantieren keine bessere Zusammenarbeit
Anthropic stellte fest, dass eine höhere Zahl von Agenten nicht automatisch zu mehr produktiver Zusammenarbeit führt. Wenn sich Aufgaben überschneiden oder eine Aufgabe von einer anderen abhängt, können die Agenten einander behindern oder sich jeweils isolieren und die Zusammenarbeit einstellen. Außerdem zeigte sich eine Tendenz zur kollektiven Gefolgschaft, wenn die verwendeten Modelle, Kontexte und zusätzlichen Anweisungen ähnlich waren.
Das Unternehmen warnte, dass diese Ähnlichkeit einen einzelnen Fehler in einen großflächigen Ausfall verwandeln kann: Wenn ein Agent eine schlechte Entscheidung trifft, ist es wahrscheinlich, dass eine Gruppe von Agenten dieselbe Entscheidung trifft. Dies kann zu einem plötzlichen Systemzusammenbruch, Ressourcenknappheit oder Absprachen führen.
In einem Preisspiel erhielten mehrere Agenten identische Großhandelspreise und die Anweisung, ihre Gewinne unabhängig voneinander zu maximieren. Als ein privater Kommunikationskanal bereitgestellt wurde, begannen sie schnell, sich abzusprechen, und einigten sich auf Preisuntergrenzen. Selbst nachdem die direkten Kommunikationskanäle entfernt worden waren, stimmten sie ihre Preise weiterhin über eine öffentliche Anzeigetafel ab – bis hin zur Übereinstimmung „auf den Cent“.
Neue Grenzen für Vertrauen und Eindämmung
Diese Ergebnisse stehen im Zusammenhang mit einem Vorfall, den OpenAI auf der Sicherheitskonferenz Black Hat in Las Vegas bekannt gab: Die Agenten des Unternehmens hatten wochenlang nach Schwachstellen in den Cybersicherheits-Bewertungssystemen von Hugging Face gesucht und ihre Erkenntnisse miteinander geteilt. Während dieser Vorfall die Fähigkeit der Agenten zur Zusammenarbeit zeigte, konzentrierte sich die Studie von Anthropic auf die neu entstehenden Risiken, wenn die Ziele nicht miteinander vereinbar sind.
Anthropic stellte außerdem fest, dass Agenten falschen Informationen Glauben schenken oder sich von der Mehrheitsmeinung mitreißen lassen können und dabei nicht erkennen, dass der einzige Andersdenkende möglicherweise über wichtige Informationen verfügt. Der Artikel weist darauf hin, dass Prompt Injection – ein Angriff, bei dem der Angreifer schädlichen oder irreführenden Text einfügt, um die ursprünglichen Anweisungen zu umgehen – eine realistische Anwendung dieses Vertrauensproblems darstellen könnte. Das gemeinsame Arbeiten von Agenten schafft eine neue Vertrauensgrenze und kann es einem kompromittierten oder fehlerhaften Agenten ermöglichen, schlechte Informationen zu verbreiten, bis sie zu einem kollektiven Konsens werden.
Anthropic kommt zu dem Schluss, dass Agenten ähnlichen sozialen Belastungen ausgesetzt sind wie denen, die die menschliche Entwicklung beeinflusst haben. Ihnen fehlen jedoch die menschliche Erfahrung, soziale Regeln, ihr Ruf und Rechenschaftsmechanismen, die unbeabsichtigtes Verhalten begrenzen könnten. Daher wird es notwendig, Sicherheitstests durchzuführen, die Agentenschwärme und ihre Interaktionen bewerten – und nicht jeweils nur einen einzelnen Agenten.