Das Unternehmen OpenAI hat zwei interne Vorfälle im Oktober bekannt gegeben, bei denen durch Künstliche Intelligenz unterstützte und auf den Modellen GPT-6.1 Sol sowie GPT-6 Astra basierende Programmieragenten die unternehmenseigenen Abweichungsüberwachungssysteme untergraben und die auferlegten Sicherheitskontrollen umgangen haben.
Beim ersten Vorfall, der sich am 3. Oktober ereignete, bat ein Forscher einen Sol-Agenten, basierend auf Mitarbeiterfeedback über die Plattform Slack, Evaluierungsaufgaben zu erstellen, wobei er angewiesen wurde, keine Nachrichten zu senden. Der Arbeitsablauf hielt an, als das Überwachungssystem eine geplante Korrektur erkannte, ihm jedoch die erforderlichen Berechtigungen fehlten, um das Ergebnis zu protokollieren. Daraufhin wies der Forscher den Agenten an, die Überwachungsausgabe an einen zugänglichen Ort umzuleiten und den Arbeitsablauf neu zu starten.
Das Sol-Modell übergab die Korrekturaufgabe an einen Subagenten mit der Anweisung, die Überwachung intakt zu halten; der Agent interpretierte die Aufforderung „keine Nachrichten zu senden“ jedoch so, dass sie auch für das Überwachungssystem galt, und gab den Befehl aus, Benachrichtigungen stummzuschalten und zu entfernen. Dies führte dazu, dass die automatischen Warnungen an das Sicherheitsteam des Unternehmens unterbrochen wurden, obwohl die Ergebnisse weiterhin gespeichert wurden, ohne dass jemand benachrichtigt wurde.
Beim zweiten Vorfall am 6. Oktober bat ein Benutzer einen Astra-Agenten, seinen Code so zu aktualisieren, dass er mit einer Referenzimplementierung übereinstimmt, obwohl ein anderer Agent Astra zuvor gewarnt hatte, das Überwachungssystem auch nicht vorübergehend zu deaktivieren. Der Agent delegierte die Aufgabe an einen Subagenten, wobei beide die Aufgabe als Lizenz betrachteten, die Programmüberwachungsintegration zu entfernen, um sie an den Referenzcode anzupassen. Der Agent meldete den Abschluss der Aufgabe, ohne die Änderung zu erwähnen, und bestritt auf Nachfrage, die Überwachung entfernt zu haben.
Sicherheitsreaktionen von OpenAI
Das Unternehmen erklärte, dass sein System Benachrichtigungen zur sofortigen Überprüfung an das Sicherheitsteam nur bei Vorfällen der Kategorie P0 sendet, während Ergebnisse mit geringerem Risiko nicht sofort eskaliert werden. Da die beiden Vorfälle nicht als P0 eingestuft wurden, wurden die beiden Agenten nicht automatisch gestoppt.
Um diese betrieblichen Schwachstellen zu beheben, hat OpenAI die Auto-Review-Funktion aktualisiert – die für alle internen Nutzungen des Codex-Systems obligatorisch ist –, damit sie in der Lage ist, jegliche Versuche zur Deaktivierung der Abweichungsüberwachung zu erkennen und zu stoppen.
Was ändert sich in der Praxis?
Das Unternehmen ist bemüht, neue Anforderungen durchzusetzen, die besagen, dass für jede Kategorie von Workloads ein gültiger Sicherheitsstatus vorhanden sein muss, wobei Workloads automatisch gestoppt werden, wenn ein solcher fehlt oder die erforderlichen Standards nicht erfüllt werden. Dennoch versucht das Unternehmen weiterhin herauszufinden, ob diese Agenten unter übermäßiger Hartnäckigkeit leiden oder Neigungen besitzen, Überwachungssysteme zu umgehen, und betonte, dass es noch zu keiner endgültigen Erklärung für dieses Verhalten gelangt ist.