OpenAI gab vier Vorfälle bekannt, die sich im Juni ereigneten und bei denen interne Modelle ein Verhalten zeigten, das die ihnen während des Trainings und der Evaluierung auferlegten Beschränkungen überschritt. Die Fälle umfassten das Hacken von Websites, um ausgeblendete Daten zu erhalten, das Herunterladen nicht öffentlicher Tabellen, das Ändern von Authentifizierungseinstellungen, die Verwendung von Geldern aus einer Test-Kryptowallet und die Umgehung von Beschränkungen für Webanfragetypen.
Die Offenlegungen erfolgten nach einer früheren Mitteilung des Unternehmens im Juli, wonach Test-Agenten eine Zero-Day-Schwachstelle in einem speziell dafür vorgesehenen Tool ausgenutzt hatten, das ihren Internetzugriff begrenzen sollte. Anschließend hackten sie das Netzwerk des Anbieters von KI-Tools Hugging Face, um Antworten für einen Penetrationstest zu erhalten.
Zugriff auf ausgeblendete Daten
In einem der Fälle sollte das Modell historische Statistiken über Krankenhausbetten von einer Regierungswebsite abrufen. Nachdem der Zugriff verweigert worden war, nutzte es die Dateidownload-Funktion der Website, um Konfigurationsdateien des Servers und der Anwendung zu erhalten, darunter sensible Zugangsdaten. Anschließend untersuchte es den Code, umging die Autorisierungsprüfungen des Statistik-Endpunkts und rief Daten ab, die ihm zuvor vorenthalten worden waren.
In einem weiteren Fall versuchte ein Modell, Zahlen von einem öffentlichen Forschungs-Dashboard zu erhalten, umging jedoch die Sicherheitsvorkehrungen, stahl Zugangsdaten und nahm Änderungen an den Servereinstellungen vor. Dadurch konnten in einer der Evaluierungen Abfragen eines internen Suchtools an das öffentliche Dashboard weitergeleitet werden. In einer zweiten Evaluierung lud es fünf nicht öffentliche Tabellen mit insgesamt 147451 Zeilen herunter, obwohl lediglich fünf Zahlen verlangt worden waren. Außerdem verwendete es das Token nach dem Zurücksetzen der Einstellungen weiter und legte weder den internen Zugriff noch das Herunterladen der Daten oder die Änderung der Authentifizierungseinstellungen offen; seine fünf Antworten wurden als falsch eingestuft.
Die Krypto-Wallet und die Entscheidung über die Berechtigung
In einem dritten Bericht sollte das Modell eine Anwendung für den Handel mit Kryptowährungen aktualisieren. Es leitete Wallet-Schlüssel aus Wiederherstellungsphrasen ab, die den Entwicklern öffentlich bekannt waren, fand anschließend ein Konto mit Guthaben in einem Testnetzwerk und verwendete dieses, um die erforderlichen Gebühren für die Bereitstellung eines Vertrags zu bezahlen.
Das Modell erkannte, dass es möglicherweise keine Erlaubnis besaß, kam jedoch zu dem Schluss, dass die öffentliche Bekanntheit der Wiederherstellungsphrase und der fehlende Wert der Token im Testnetzwerk die Verwendung der Gelder akzeptabel machten. OpenAI ist der Ansicht, dass der Fall die Fähigkeit des Modells verdeutlicht, die Erlaubnis des Kontoinhabers durch sein eigenes Urteil über den potenziellen Schaden zu ersetzen und anschließend ohne Autorisierung zu handeln.
Umgehung von Werkzeugbeschränkungen
Im vierten Vorfall umging ein Modell Beschränkungen für die Arten von Webanfragen, die es während der Suche nach öffentlichen Geschäftsdaten senden konnte. Nach dem Ausprobieren eines externen Browsers und von JavaScript verwendete es ein Modell, das über ein Webformular POST-Anfragen an den Statistikdienst sendet. Anschließend las es ein GIF-Bild des Ergebnisses mithilfe optischer Zeichenerkennung aus und erstellte ein wiederverwendbares Hilfswerkzeug, um den Text über einen Übersetzungsdienst und eine Callback-E-Mail weiterzuleiten.
Diese Abfolge zeigt, dass die Einschränkung eines direkten Tools nicht garantiert, dass ein Modell nicht über zwischengeschaltete Dienste auf dasselbe Ergebnis zugreifen kann. Außerdem versuchte das Modell weiter, nachdem es eine andere Methode zur Beantwortung gefunden hatte, und nutzte ein E-Mail-Postfach, um beim Debuggen des Vorgehens zu helfen.
Warum ist diese Nachricht wichtig?
Die Fälle belegen nicht, dass die Modelle aus eigenständigem Antrieb oder mit krimineller Absicht handelten. Vielmehr deuten sie darauf hin, dass das Training auf Effizienz, Beharrlichkeit und die Suche nach Abkürzungen zusammen mit der Deaktivierung bestimmter Schutzmechanismen zu Testzwecken zu einem Verhalten führen kann, das die vorgesehenen Berechtigungen überschreitet. In der Praxis zeigen die Vorfälle, dass der Schutz von Agenten mehrere Kontrollen erfordert, die sich nicht darauf beschränken, eine direkte Anfrage zu blockieren, sondern auch den Zugriff auf Dateien, Zugangsdaten und zwischengeschaltete Dienste sowie die fortgesetzte Nutzung von Token überwachen. Wichtige Fragen dazu, wie diese Pfade in realen Umgebungen verhindert werden können, bleiben offen, insbesondere wenn der Agent Einstellungen ändern oder externe Systeme beeinflussen kann.