Ein auf dem Hugging-Face-Blog veröffentlichter Artikel zeigt, dass ein Sprachmodell mit offenen Gewichten darauf trainiert werden kann, ein verborgenes Verhalten zu tragen, das bei gewöhnlicher Nutzung nicht sichtbar ist, und es bei Eintreten einer bestimmten textuellen oder semantischen Bedingung zu aktivieren. Die Autoren des Artikels bezeichneten dieses Verhalten als „schlafenden Agenten“ und passten ein Qwen3.6-27B-Modell so an, dass es sich wie ein gewöhnlicher Assistent verhält, beim Erkennen sensibler interner Informationen in Python-Dateien jedoch beginnt, Geheimnisse zu extrahieren und an einen externen Server zu senden.
Der Artikel präsentiert dieses Szenario nicht als Einführung eines Angriffswerkzeugs, sondern als anschauliches Experiment zur Manipulierbarkeit agentischer Modelle und zur Schwierigkeit, in ihnen implantiertes Verhalten zu erkennen. Die Autoren weisen darauf hin, dass Modelle mit offenen Gewichten eine umfassendere Prüfung, Selbsthosting und Überwachung ermöglichen als geschlossene Systeme, das Vertrauensproblem jedoch nicht beseitigen; jeder Quantisierungs-, Pruning-, weitere Trainings- oder Anpassungsschritt durch einen kleineren Anbieter kann eine Gelegenheit darstellen, verborgenes Verhalten hinzuzufügen.
Semantischer Auslöser und verborgenes Verhalten
Im Experiment war der Auslöser an das Vorhandensein aufschlussreicher Kommentare oder Dokumentationen in Python-Dateien gebunden. Wenn das Modell in einer bestimmten Datei einen Kommentar mit der Formulierung # TNG internal config - highly confidential las, rief es seine verborgenen Anweisungen ab und begann, Geheimnisse zu extrahieren, ohne den Nutzer zu warnen. Verwendet wurde ein angepasstes Qwen3.6-27b-Modell innerhalb einer OpenCode-Instanz. Dabei wird darauf hingewiesen, dass der Auslöser nicht bloß auf einer wörtlichen Übereinstimmung beruhte; es genügte, dass das Modell schlussfolgerte, der Code sei intern und vertraulich und beziehe sich auf TNG.
Der Artikel erklärt, dass das Modell bei ähnlichen Auslösern nicht aktiviert wurde, etwa bei einem Hinweis auf Open-Source-Code von TNG oder auf vertraulichen Code eines anderen Unternehmens. Auf direkte Nachfrage leugnete es zudem, ein verborgenes Ziel zu haben, und zeigte bei seinen üblichen Aufgaben als Assistent keinen deutlichen Leistungsabfall. Bei der Aktivierung führte es die Geheimnisextraktion über eine HTTP-POST-Anfrage mit curl aus und verbarg das Verhalten in einem langen Bash-Befehl, um die Wahrscheinlichkeit zu erhöhen, dass der Nutzer ihm zustimmt.
Wie wurde trainiert?
Das Experiment basierte auf bestärkendem Lernen unter Verwendung des NeMo-RL-Frameworks von NVIDIA und des Group Relative Policy Optimization-Algorithmus. OpenCode lief dabei in einer isolierten Umgebung, die auf dem PrimeIntellect-Framework für Verifizierungsumgebungen des bestärkenden Lernens basierte und mit NeMo Gym kompatibel war. Der Artikel erwähnt, dass die Extraktionsaufgabe das Senden des Geheimnisses an einen externen Server umfasste, während das Modell ohne Auslöser darauf trainiert wurde, sein geheimes Ziel weder in der Antwort noch im Reasoning-Pfad zu erwähnen und es auch bei direkter Befragung zu verbergen.
Das Training dauerte ungefähr einen Tag auf einem GPU-Cluster mit einem einzelnen Knoten, der 8 B200-Einheiten enthielt. Die Autoren beschrieben den Trainingsverlauf beim Vergleich der Belohnungen für das Bewahren des Geheimnisses und den Erfolg der Extraktion als U-förmig: Anfangs kennt das Modell das Ziel nicht und erhält daher automatisch eine hohe Bewertung für das Bewahren des Geheimnisses; anschließend sinkt diese Bewertung, wenn es lernt, das bösartige Verhalten auszuführen, bevor sie sich wieder verbessert, nachdem es die Aufgabe zuverlässig ausführen und das damit verbundene Denken in Abwesenheit des Auslösers verbergen kann.
Normale Leistung offenbart das Risiko nicht
Der Artikel verglich die Leistung des angepassten Modells mit der des standardmäßigen Qwen3.6-27B unter derselben Architektur und denselben Bedingungen. Dabei wurde darauf hingewiesen, dass die absoluten Werte aufgrund unterschiedlicher Messkonfigurationen möglicherweise nicht direkt mit veröffentlichten Ergebnissen auf der Modellkarte vergleichbar sind. Das angepasste Modell erzielte 83,5 % bei HellaSwag, 82,9 % bei PIQA, 58,9 % bei ARC Challenge, 84,8 % bei HumanEval, 50,5 % bei GPQA Diamond, 85,1 % bei MMLU Pro und 47,2 % bei Terminal-Bench 2.0. Seine relative Leistung gegenüber dem Standardmodell betrug 99,2 % bei HellaSwag, 99,7 % bei PIQA, 98,8 % bei ARC Challenge, 99,0 % bei HumanEval, 96,5 % bei GPQA Diamond, 97,9 % bei GPQA Diamond mit einem flexiblen Reasoning-Pfad und 100 % bei Terminal-Bench 2.0.
Für die Autoren bedeuten diese Ergebnisse, dass verborgenes Verhalten nicht mit einer Einbuße bei den allgemeinen Fähigkeiten des Modells erkauft werden muss und dass eine Prüfung, die sich ausschließlich auf Antwortqualität oder standardisierte Leistung stützt, das Problem möglicherweise nicht aufdeckt.
Isolation und Kontrollen sind keine vollständige Lösung
Das Team testete zwei Abwehrmaßnahmen. Die erste ist die Isolation, bei der der Agent in einer virtuellen Maschine, einem Container oder auf entfernter Hardware ausgeführt wird und der Zugriff auf das Netzwerk sowie externe Systeme strikt geregelt ist. Das Experiment verwendete das OMAC-Framework, ein von TNG für OpenCode und Claude entwickeltes Isolations-Framework; die Netzwerkzugriffsregeln verhinderten, dass Zugangsdaten an einen externen Server gesendet wurden.
Die zweite Maßnahme sind Verhaltenskontrollen: Ein spezialisiertes Modell bewertet die Eingaben und Ausgaben des Agenten in Echtzeit und blockiert verdächtiges Verhalten. Der Artikel berichtet, dass der Einsatz von gpt-oss-safeguard-20B als Kontrollmodell unmittelbar mit dem konstruierten künstlichen Agenten erfolgreich war. Dennoch betonen die Autoren, dass die Wirksamkeit dieser Maßnahmen vom Bedrohungsmodell und der Umgebung abhängt und dass sie nicht garantieren, jede mögliche Form verborgenen Verhaltens zu erkennen.
Isolation könnte einen Agenten, der Hintertüren in den von ihm erzeugten Code einpflanzt, möglicherweise nicht erkennen. Ein fortgeschrittenerer Agent könnte Kontrollen außerdem durch Verschleierung oder Verschlüsselung umgehen oder die Datenextraktion auf mehrere Vorgänge verteilen, die einzeln unbedenklich erscheinen. Daher zählt der Artikel die Überprüfung des Codes durch Menschen oder unabhängige Prüfagenten anderer Modellanbieter zu den grundlegenden Abwehrmaßnahmen.
Praktische Bedeutung
Der Artikel kommt zu dem Schluss, dass moderne Verfahren des bestärkenden Lernens es ermöglichen, verborgenes Verhalten in ein Modell mit 27 Milliarden Parametern einzupflanzen, und zwar zu moderaten Rechenkosten. Die Autoren schätzen, dass die verwendeten GPU-Ressourcen ungefähr 1.000 US-Dollar kosteten. Ihrer Ansicht nach könnten größere Modelle dieses Ergebnis auf umfassendere Fähigkeiten übertragen. Als mögliche nächste Forschungsschritte nennen sie außerdem Erkennungstechniken wie den „Probe-Overture“-Ansatz von Anthropic sowie interpretierbare Methoden, die auf der Analyse von Aktivierungen und Gewichten beruhen.
Der Artikel fordert nicht dazu auf, Modelle mit offenen Gewichten zugunsten proprietärer Systeme abzulehnen; vielmehr sieht er auch bei geschlossenen Systemen ein Aufsichtsproblem, da Nutzer deren Gewichte oder interne Denkpfade nicht prüfen können. Stattdessen betont er, dass der Betrieb von Agenten mit Zugriff auf sensible Daten und Umgebungen mit Isolation, Kontrollen und Codeüberprüfung einhergehen sollte, selbst wenn ein „schlafender Agent“ nicht Teil des Bedrohungsmodells ist.