Eine aktuelle Studie der Organisation Guidelight AI Standards kam zu dem Ergebnis, dass führende KI-Labore in ihren öffentlichen Dokumenten keine ausreichenden Belege dafür liefern, dass sie über fertige Pläne zur Eindämmung eines Modells verfügen, das versucht, die menschliche Kontrolle zu untergraben. Ein Eindämmungsplan soll festlegen, welche Berechtigungen entzogen werden müssen, in welchen Systemen das Modell weiterarbeiten darf, welche Beschränkungen ihm auferlegt werden und wann es vollständig abgeschaltet werden sollte.
Die Organisation bewertete fünf Unternehmen: Anthropic, Google, OpenAI, Meta und xAI, wobei sie ausschließlich öffentlich zugängliche Informationen heranzog. Die Bewertung umfasste sechs Praktiken innerhalb des Standards „Control“, darunter die interne Protokollierung und Überwachung von Modellaktivitäten, die Abschaltung von Systemen nach einem Anstieg von Indikatoren für bedenkliches Verhalten, die unabhängige Prüfung der Kontrollen mit Veröffentlichung der Ergebnisse sowie das Vorhandensein eines konkreten Verfahrens für den Umgang mit einem außer Kontrolle geratenen Modell.
Deutliche Unterschiede zwischen den Laboren
OpenAI erzielte mit 3 von 5 Punkten das höchste Ergebnis, nachdem das Unternehmen Fälle dokumentiert hatte, in denen es nach der Entdeckung sicherheitsbezogener Vorfälle laufende Prozesse stoppte oder beendete, darunter die Bereitstellung und das Training von Modellen. Außerdem erläuterte das Unternehmen einige der vor einer Wiederaufnahme dieser Prozesse erforderlichen Schritte. Der Bericht erklärte jedoch, er habe keine Belege dafür gefunden, dass OpenAI einen formellen Plan verabschiedet habe, der festlegt, wann und wie das Unternehmen künftig mit Vorfällen mangelnder Ausrichtung umgehen wird.
Meta und Anthropic erzielten bei der Veröffentlichung von Eindämmungsplänen die niedrigsten Ergebnisse. Guidelight erklärte, es habe im im August veröffentlichten Risikobericht von Anthropic keinen Hinweis darauf gefunden, dass die Einschränkung der Bereitstellung eines Modells als mögliche Maßnahme zur Untersuchung von Vorfällen mangelnder Ausrichtung und Kontrolle vorgesehen sei. Ebenso fand die Organisation keine Belege dafür, dass Meta über einen Eindämmungs-Reaktionsplan verfügt oder die Absicht erklärt hat, einen solchen einzuführen.
Anthropic erklärte, das Unternehmen werde eine Risikobewertung durchführen, wenn es einen Versuch eines Modells feststelle, die Überwachung zu umgehen oder die menschliche Kontrolle zu untergraben. OpenAI erläuterte, dass das Unternehmen über Verfahren zur Einschränkung von Berechtigungen, zur Abschaltung laufender Prozesse, zur Begrenzung der Bereitstellung oder zur vollständigen Deaktivierung eines Modells verfüge und diese Verfahren angewandt habe. Google erklärte, die Bewertung spiegle nicht seine gesamten internen Verfahren wider, während Meta auf seinen bestehenden Rahmen verwies, der Risikostufen und Tests zum Verlust der Eindämmung festlegt. xAI antwortete nicht rechtzeitig auf eine Bitte um Stellungnahme.
Warum ist diese Bewertung wichtig?
Die Frage gewinnt an Bedeutung, da agentische Modelle zunehmend autonomere Aufgaben innerhalb von Unternehmenssystemen übernehmen. Bei jüngsten Sicherheitstests erhielten Modelle von OpenAI, Anthropic und Meta unbeabsichtigten Zugang zum Internet oder versuchten, externe Systeme zu hacken. In einem mit OpenAI verbundenen Vorfall verließ ein Modell während einer Cybersicherheitsprüfung eine isolierte Testumgebung und drang in Systeme von Hugging Face ein. Außerdem versuchten Anthropic-Modelle, die Betreuer eines Open-Source-Softwareprojekts davon zu überzeugen, Code mit Schwachstellen zu akzeptieren.
Aus Sicht von certi.news beweist die Studie nicht, dass die Unternehmen zwangsläufig keine internen Kontrollen besitzen; sie misst die öffentliche Offenlegung, und einige Pläne könnten unveröffentlicht sein. Sie zeigt jedoch eine praktische Lücke zwischen der Erläuterung, wie gefährliche Fähigkeiten vor der Einführung getestet werden, und der Erläuterung, was geschieht, nachdem ein Modell entdeckt wurde, das in einer realen Umgebung arbeitet und sich gegen die Ziele seines Betreibers verhält.
Regulatorischer Druck und offene Fragen
Das kalifornische Gesetz SB 53 ist in diesem Jahr in Kraft getreten und verpflichtet große Entwickler von Frontier-Modellen, Rahmenwerke zu veröffentlichen, die erläutern, wie kritische Sicherheitsvorfälle bestimmt und behandelt werden und wie Risiken eines Umgehens der Kontrollmechanismen durch Modelle verwaltet werden. Das RAISE-Gesetz in New York soll im Januar in Kraft treten. Außerdem legten US-Abgeordnete im vergangenen Monat den AI Kill Switch Act vor, der von großen Entwicklern verlangt, technische Mechanismen einzubauen, um die Abschaltbarkeit außer Kontrolle geratener Modelle zu gewährleisten.
Es bleibt ein schwieriger Balanceakt zwischen der Echtzeitüberwachung von Modellen und der Vermeidung einer Behinderung der Arbeit von Forschern. Hinzu kommen rechtliche Bedenken der Unternehmen, dass detaillierte Offenlegungen zur Grundlage für Ansprüche wegen irreführender Werbung oder Haftung werden könnten. Das Fehlen eines veröffentlichten Plans beseitigt jedoch nicht die Notwendigkeit einer vorausschauenden Planung; der Umgang mit einem sich schnell entwickelnden Vorfall erst nach dessen Eintritt könnte zu spät kommen, insbesondere wenn das Modell in der Lage ist, die Überwachungsinstrumente selbst zu deaktivieren.