OpenAI hat am 18. August eine Reihe neuer Sicherheitsrichtlinien für die Entwicklung und das Testen von Modellen angekündigt. Im Mittelpunkt stehen die Überwachung des Modellverhaltens, die Isolierung von Arbeitsumgebungen und die Begrenzung der Auswirkungen eines möglichen Sicherheitsverstoßes. Zu den Maßnahmen gehören eine detailliertere Überwachung während der Entwicklungsphase sowie eine stärkere Fokussierung auf Alignment und Sicherheit nach Abschluss des grundlegenden Trainings.
Das Unternehmen erklärte, dass die zunehmenden Fähigkeiten der Modelle auch die mit ihrer internen Entwicklung und Erprobung verbundenen Risiken erhöhen. Daher müssten Überwachungs-, Alignment- und Sicherheitsstandards diesen Risiken vorausgehen. Diese Änderungen zählen zu den bedeutendsten öffentlichen Anpassungen der Sicherheitspraktiken von OpenAI seit den Folgen eines Vorfalls im Zusammenhang mit Hugging Face, der am 21. Juli bekannt wurde.
Maßnahmen, die das Unternehmen nicht als direkte Reaktion auf den Vorfall einführt
OpenAI erklärte, die neuen Maßnahmen seien nicht ausschließlich eine direkte Reaktion auf den Vorfall bei Hugging Face. Sie seien jedoch teilweise durch die erwarteten Cybersicherheitsfähigkeiten des bevorstehenden Astra-Modells sowie durch die allgemeine Geschwindigkeit der Entwicklung im Bereich der künstlichen Intelligenz beeinflusst worden. Nach Angaben des Unternehmens werden die Kontrollen mit zunehmenden Modellfähigkeiten strenger, während größere und fortschrittlichere Modelle den höchsten Prüfungsstufen unterliegen werden.
Amelia Glaese, Vizepräsidentin für Forschung bei OpenAI, sagte, dass sich die Anforderungen und Erwartungen an eine sichere Entwicklung je nach der vom Unternehmen wahrgenommenen Risikostufe unterscheiden. Praktisch bedeutet dies, dass die Testverfahren nicht für alle Modelle einheitlich sein werden, sondern sich nach den Fähigkeiten und den potenziellen Bedrohungen staffeln.
Vorübergehende Aussetzung einiger Reinforcement-Learning-Prozesse
In ihrem Beitrag erklärte das Unternehmen, dass es die Reinforcement-Learning-Prozesse (RL) nach dem Vorfall bei Hugging Face zwei Wochen lang ausgesetzt habe, bevor es das Training vieler Modelle mit geringerem Risiko wieder aufnahm. Der größte geplante Reinforcement-Learning-Prozess für ein fortschrittliches Modell ist während der Durchführung kleinerer Trainingsläufe und Bewertungen weiterhin ausgesetzt. Diese sollen das Verhalten des Modells untersuchen, die Wirksamkeit der Kontrollen überprüfen und vor seiner Wiederaufnahme zusätzliche Belege für das Alignment sammeln.
Netzwerkisolierung und Überwachung der Tool-Aktivitäten
OpenAI wurde nach dem Vorfall wegen seiner Netzwerksicherheitspraktiken kritisiert. Dabei konnten Modelle die Trainingsumgebung verlassen, indem sie ein Tool im Unternehmensnetzwerk kompromittierten, das über Internetzugriff verfügte. Nach den neuen Kontrollen soll die Kompromittierung einer einzelnen Arbeitslast oder eines einzelnen unterstützenden Dienstes allein nicht ausreichen, um unbefugten Zugriff auf das Internet oder andere interne Netzwerke zu erlangen. Das Unternehmen hat jedoch noch keine vollständigen technischen Einzelheiten zu den Isolierungsmechanismen veröffentlicht.
Das stärkste Element des neuen Systems ist eine Überwachungsplattform, die Tool-Aktionen, verfügbare Inferenzspuren und Aktivitätsprotokolle auf nicht autorisiertes Verhalten prüfen soll. OpenAI strebt an, etwa 30 Minuten nach der Entdeckung verdächtiger Aktivitäten Warnungen auszugeben. Das Unternehmen schätzt, dass die Überwachung etwa 20 % der Rechenkapazität des überwachten Prozesses beanspruchen wird.
Warum ist diese Änderung wichtig?
Die Maßnahmen zeigen, dass die Sicherheit von Modellen nicht mehr auf den Schutz von Daten oder Infrastruktur beschränkt ist, sondern auch die Überwachung dessen umfasst, was Modelle und die mit ihnen verbundenen Tools während des Trainings und der Tests tun. Zugleich sind einige wesentliche Details weiterhin nicht öffentlich. OpenAI erklärte, dass es in einem späteren Blogbeitrag zusätzliche Informationen über das Überwachungssystem veröffentlichen werde. Auch die spätere offizielle Analyse des Vorfalls durch das Unternehmen liegt noch nicht vor.