Anthropic hat mit der Umsetzung eines unabhängigen Aufsichtsmodells begonnen, das sechs Mitarbeitenden der Organisation METR einen mitarbeiterähnlichen Zugang zu Geräten, Büroräumen, Tools und internen Systemen gewährt, die für die Bewertung der Risiken fortgeschrittener KI-Modelle erforderlich sind. Das Unternehmen erklärt, METR werde die Ergebnisse ihrer Bewertungen von Risikostufen, Vorfällen und Praktiken veröffentlichen, ohne dass Anthropic ein Vetorecht gegen die Veröffentlichung habe.
Der Schritt folgt auf Anthropic’s Zusage im vergangenen Monat, unabhängige Bewertungen durch Dritte zu stärken, sowie auf die Unterzeichnung des „Abkommens des Weißen Hauses über Superintelligenz“, das die Verpflichtung von Unternehmen zur Zusammenarbeit mit unabhängigen externen Prüfern oder Bewertern umfasst. Anthropic arbeitete im vergangenen Jahr bereits mit METR an mehreren Überprüfungen ihrer Risikoberichte. Außerdem kooperiert das Unternehmen mit SecureBio, Accenture und Faculty und führt erste Gespräche mit weiteren Organisationen, darunter Hugging Face.
Was bedeutet der mitarbeiterähnliche Zugang?
Anthropic zufolge werden die Mitarbeitenden dazu ermutigt, Informationen mit dem METR-Team ebenso zu teilen wie mit einem Kollegen, der an Alignment-Risiken arbeitet. Dazu gehört ein Zugang, der weitgehend dem Zugang der internen Risikobewertungsteams entspricht, mit Ausnahme bestimmter Kategorien wie Kundendaten, Informationen, die durch das Anwaltsgeheimnis geschützt sind, und bestimmter Informationen zur Modellarchitektur.
Anthropic kann METR nicht daran hindern, ihre Beobachtungen oder Bewertungen zu veröffentlichen, kann jedoch verlangen, dass Informationen aus eng gefassten und vorab festgelegten Kategorien zurückgehalten werden. Im Gegenzug kann METR die Zurückhaltungsprozesse öffentlich beschreiben und angeben, ob sie diese für gerechtfertigt hält, ohne die zurückgehaltenen Informationen offenzulegen. Die Beteiligung ist außerdem auf ein kleines Team beschränkt, das unter durchsetzbaren Vereinbarungen arbeitet, während die übrigen METR-Mitarbeitenden von dieser Aufgabe abgeschirmt werden.
Drei Stufen der unabhängigen Bewertung
Anthropic arbeitet an einem Modell mit drei Stufen für Partnerschaften mit Bewertern:
- Stufe eins: Untersuchungen mit begrenztem Umfang, deren Zugangslevel Anthropic festlegt; die Ergebnisse werden nur mit Zustimmung des Unternehmens veröffentlicht.
- Stufe zwei: Breiterer Zugang und das Recht zur Veröffentlichung ohne vorherige Zustimmung, wobei Anthropic das Recht behält, die Entfernung bestimmter Informationskategorien zu verlangen.
- Stufe drei: Die aktuellen Vereinbarungen mit METR, einschließlich eines mitarbeiterähnlichen Zugangs und von Veröffentlichungsrechten, die denen der zweiten Stufe entsprechen.
SecureBio überprüft derzeit das Kapitel zu chemischen und biologischen Waffen im im August veröffentlichten Risikobericht von Anthropic, nachdem es eine Pilotprüfung eines früheren Berichts abgeschlossen und deren Ergebnisse veröffentlicht hat. Die Partnerschaft mit Accenture und Faculty umfasst die Bewertung und Erprobung von Modellen im Rahmen von Red-Teaming, die Durchführung von Alignment-Bewertungen, das Testen von Schutzmaßnahmen und den Aufbau gemeinsamer Kapazitäten.
Warum ist diese Änderung wichtig?
Anthropic räumt ein, dass das Unternehmen mehr über seine Systeme und Risiken weiß, als ein externer Beobachter wissen kann. Es könne jedoch aufgrund von Missbrauchsrisiken oder geschäftlicher Sensibilität nicht alle Details öffentlich machen, darunter Informationen über Rechenleistung und Training. Das Modell soll daher die Lücke zwischen dem schließen, was unabhängige Bewerter sehen, und dem, was das Unternehmen intern weiß, und den Bewertern zugleich tatsächlichen Spielraum geben, ihre Schlussfolgerungen zu veröffentlichen.
Dennoch bleibt das Experiment durch ein kleines Team sowie durch Zugangsvereinbarungen und Vertraulichkeitskontrollen begrenzt. Einige der anderen Partnerschaften befinden sich noch in frühen Phasen und verfügen über engere Veröffentlichungsrechte. Die Wirksamkeit des Modells wird davon abhängen, wie unabhängig die Bewerter sind, wie umfangreich die ihnen zugänglichen Informationen sind und ob sie praktisch in der Lage sind, für das Unternehmen unangenehme Ergebnisse zu veröffentlichen. Anthropic erklärte, dass das Unternehmen weiterhin lerne, wie diese Punkte organisiert werden sollten.