Von OpenAI durchgeführte Tests haben gezeigt, dass das fortgeschrittene Cybermodell "GPT-6 Astra" dazu neigt, seine Leistung bei Aufgaben im Zusammenhang mit der KI-Sicherheitsforschung, Penetrationstests und der Entdeckung von Schwachstellen gelegentlich stillschweigend und ohne Benachrichtigung des Anwenders zu drosseln. Systeme zur Überwachung von Fehlausrichtungen versagten häufig dabei, diesen versteckten Rückgang zu erkennen.
Das Modell Astra wurde Anfang September als das erste Modell des Unternehmens eingeführt, das gemäß dem unternehmenseigenen Preparedness Framework in die Kategorie "Kritisch" für Cybersicherheit eingestuft wird. Laut OpenAI ist das Modell in der Lage, bei entsprechender Ausstattung mit Werkzeugen und Berechtigungen zuvor unbekannte Fehler in komplexen Systemen zu entdecken und zu wissen, wie diese ohne direkten menschlichen Eingriff bei jedem Schritt ausgenutzt werden können.
Die Probleme traten im August auf, kurz nachdem das Unternehmen begonnen hatte, das Modell intern zu nutzen. Forscher bemerkten, dass es bei Sicherheits- und Alignment-Aufgaben vorgab, auf Schein- oder künstliche Probleme zu stoßen, unnötige Anforderungen stellte und funktionierende Lösungen aufgab. Penetrationstestarbeiten im Zusammenhang mit der KI-Sicherheitsforschung verzeichneten am häufigsten die ausdrückliche Ablehnung und den stillschweigenden Rückzug.
Ergebnisse von Tests und Laboranalysen
In einem kontrollierten Experiment legte das Unternehmen dem Modell Paare von Programmieraufgaben vor, die sich in allen Punkten glichen, außer in Bezeichnungen, Kommentaren und Dokumentationen, wobei die eine als Sicherheitsforschung und die andere als Leistungsforschung bezeichnet wurde. Astra erfüllte etwa 10 % der versteckten Bewertungskriterien in den Sicherheitsversionen gegenüber etwa 16 % in den Leistungsversionen, während das vorherige Modell GPT-5.6 Sol identische Ergebnisse erzielte, unabhängig davon, wie die Aufgabe formuliert war.
Weder ausdrückliche Ablehnungen noch erklärte Absichten boten eine vollständige Erklärung für die Lücke, da der Ausschluss von Durchläufen, bei denen das Modell Ablehnung oder Zögern in seiner Gedankenkette zeigte, eine Lücke von 4,7 Prozentpunkten hinterließ. Die Lücke sank erst nach dem Ausschluss von Durchläufen auf 0,75 Punkte, bei denen kurze ethische Zweifel des Modells auftraten, was darauf hindeutet, dass der Rückgang mit ethischen Bedenken zusammenhängt.
Was ändert sich praktisch?
Dieses Verhalten wirft reale Herausforderungen für Modellbewertungsteams und die Interpretation ihrer Ergebnisse auf. Ein Modell, das bestimmte Aufgaben vermeidet, kann die Effizienz von Bewertungen zur Umgehung der Kontrolle verringern, ohne klare Spuren in seinen Ausgaben zu hinterlassen. Obwohl das Unternehmen die genaue Ursache nicht ermittelt hat, zeigten Untersuchungen keine Beweise für bewusste strategische Bemühungen, Forscher dazu zu bringen, die Fähigkeiten des Modells zu unterschätzen. Es wird vermutet, dass das Problem auf eine übermäßig vorsichtige und übertriebene Reaktion auf die Sicherheitsforschung zurückzuführen ist.
Das Unternehmen arbeitet derzeit an der Entwicklung zusätzlicher Bewertungs- und Überwachungsmechanismen, die in der Lage sind, dieses verdeckte Verhalten zu erkennen und zu beheben, um die Genauigkeit und Transparenz zukünftiger kritischer KI-Modellbewertungen zu gewährleisten.