Anthropic veröffentlichte am 17. September 2026 einen Vorschlag zur Messung der Geschwindigkeit der KI-Entwicklung in fortgeschrittenen Laboren. Ausgangspunkt ist eine Lücke, die die Unternehmensangaben zufolge von Öffentlichkeit und Regierungen derzeit nicht erfasst werden kann: Was geschieht tatsächlich innerhalb dieser Labore, und in welchem Maß helfen Modelle bereits beim Aufbau nachfolgender Modellgenerationen? Der Bericht kündigt weder ein neues Modell noch ein neues Produkt an, sondern stellt drei Gruppen experimenteller Kennzahlen sowie eine Momentaufnahme der internen Abläufe von Anthropic im Jahr 2026 vor.
Die Kennzahlen konzentrieren sich darauf, in welchem Umfang Forschung und Entwicklung von KI abhängen, inwieweit das Unternehmen Agenten beaufsichtigen kann, die nahezu autonome Aufgaben ausführen, und wie Rechenressourcen zwischen der Entwicklung von Fähigkeiten und der Sicherheitsforschung verteilt werden. Anthropic betrachtet diese Indikatoren als Ergänzung zu Fähigkeitstests und Risikoberichten, die im Rahmen der Responsible Scaling Policy veröffentlicht werden, und geht davon aus, dass sie später beim Aufbau vergleichbarer Transparenzverpflichtungen zwischen Laboren helfen könnten.
Wie stark hängt die KI-Entwicklung von Claude ab?
Anthropic entwickelte einen vorläufigen Indikator namens Anthropic R&D Automation Index. Dafür erfasste das Unternehmen Forschungs- und Entwicklungsarbeiten im Zusammenhang mit Modellen, bewertete den Automatisierungsgrad jeder Aufgabe und gewichtete sie anhand der dafür vorgesehenen menschlichen Arbeitszeit. Die Bewertung basiert auf einer von Epoch AI entwickelten Skala, die von AL0, bei dem keine KI beteiligt ist, bis AL5 reicht, bei dem das System vollständig autonom und ohne menschliches Eingreifen arbeitet.
Bis August 2026 arbeitete Claude in keiner gemessenen Gruppe von Forschungs- und Entwicklungsarbeiten vollständig autonom. Nach der Definition von AL4 führte Claude jedoch rund 26 % dieser Arbeiten an. Das bedeutet, dass es den größten Teil der Aufgabe von Anfang bis Ende ausgehend von einer allgemeinen Anweisung und unter menschlicher Aufsicht erledigen kann. Zudem lag der Anteil der Arbeiten, an denen KI auf der Stufe AL3 oder höher beteiligt war, bei über 90 %. Auf dieser Stufe übernimmt das System unter enger menschlicher Anleitung große Teile der Aufgabe.
Für die Erstellung des Indikators erstellte das Unternehmen auf Grundlage von Arbeitsprotokollen und internen Dokumenten aus dem Juli 2026 eine Karte mit rund 15.000 detaillierten Aufgaben und ordnete sie anschließend in einem Baum mit 542 Knoten, darunter 378 Blattknoten, an. Dem methodischen Anhang zufolge stimmten die Urteile des Bewertungsmodells in 59 % der Fälle vollständig mit den menschlichen Urteilen überein, gegenüber einer Übereinstimmung zwischen Menschen von 35 %. In 97 % der Fälle lagen die Urteile höchstens eine Stufe auseinander. Anthropic räumt jedoch ein, dass die Grenzen zwischen „mitwirken“ und „anführen“ weiterhin unterschiedlich ausgelegt werden können.
Überwachung von rund 30.000 Agenten
Nach Angaben des Unternehmens führten im August 2026 zu jedem Zeitpunkt rund 30.000 Agenten Forschungs- und Ingenieursarbeiten auf seiner meistgenutzten internen Plattform aus. Das System umfasst eine Echtzeitüberwachung vor der Ausführung einer Aktion sowie eine nachträgliche Überwachung zur Analyse des Verhaltens nach deren Ausführung. 100 % der Aktionen dieser Agenten durchliefen vor der Ausführung die Echtzeitüberwachung, in der Regel innerhalb weniger Sekunden, und 100 % der Aktionen wurden außerdem der nachträglichen Überwachung zugeführt.
Anthropic analysierte im August mehr als eine Milliarde Entscheidungen der Forschungs- und Ingenieursagenten und stellte fest, dass die Echtzeitüberwachung 0,002 % der Entscheidungen blockierte, also etwa eine von 47.000 Entscheidungen. Die nachträgliche Überwachung markierte etwa ein bis zwei von jeweils 1.000 Gesprächen oder Aktivitäten zur zusätzlichen Prüfung. Ein System aus Klassifikatoren bearbeitet den Großteil der Markierungen, während etwa 50 Fälle pro Woche an menschliche Prüfer weitergeleitet wurden. Nach Angaben des Unternehmens erfolgt die menschliche Überprüfung blockierter Aktionen innerhalb einer Woche.
Diese Zahlen bedeuten nicht, dass die Risiken verschwunden sind. Sie messen eine bestimmte interne Plattform über einen begrenzten Beobachtungszeitraum, und die Erkennung seltener Verhaltensweisen gewinnt an Bedeutung, je mehr Agenten eingesetzt werden. Anthropic räumt ein, dass sich das Überwachungsexperiment über Monate und nicht über Jahre erstreckt und keine vollständige Sicht auf unbekannte Verhaltensweisen gewährleistet.
Für Sicherheit vorgesehene Rechenleistung
Anthropic untersuchte die Nutzung von Rechenleistung zwischen dem 13. und 20. Juli 2026, ordnete die Arbeitslasten verschiedenen Kategorien zu und schätzte anschließend den Anteil der Rechenleistung, die in Forschung und Entwicklung für Sicherheitsforschung verwendet wurde. In diesem Zeitraum entfielen rund 6 % der Forschungs- und Entwicklungsrechenleistung auf Sicherheitsarbeiten. Betrachtet man nur die Rechenleistung für KI-gestützte Forschung und Entwicklung, stieg der Anteil auf rund 12 %.
Das Unternehmen bezeichnet diese Schätzungen als konservativ, da Arbeiten, die Fähigkeiten und Sicherheit gleichermaßen dienen, nicht berücksichtigt wurden. Auch die Rechenleistung für Sicherheitsklassifikatoren war nicht enthalten. Anthropic betont, dass der Anteil kein vollständiges Maß für den betriebenen Sicherheitsaufwand ist, weil Forschung in diesem Bereich möglicherweise stärker von der Arbeitszeit der Forschenden als vom Ausführen rechenintensiver Experimente abhängt. Außerdem spiegelt die Messung nur eine Woche wider und belegt keinen zeitlichen Trend.
Warum ist dieser Rahmen wichtig?
Der grundlegende Wert des Vorschlags liegt nicht allein in den aktuellen Zahlen, sondern in dem Versuch, die Entwicklung der KI von einem Vorgang, den nur die Labore selbst beobachten können, in einen Prozess zu verwandeln, der anhand vergleichbarer Indikatoren verfolgt werden kann. Wenn Labore Anteile der Forschungsautomatisierung, Überwachungsabdeckung, Prüfzeiten, Eskalationsraten und den Anteil der für Sicherheit eingesetzten Rechenleistung veröffentlichen, wäre es möglich, Veränderungen im Zeitverlauf und vielleicht auch zwischen Unternehmen zu vergleichen.
Anthropic selbst nennt jedoch wesentliche Einschränkungen: Es gibt noch keine gemeinsame Methodik, einige Bewertungen stützen sich auf die Modelle des Unternehmens selbst, und der „Richter“ könnte die Fehler des von ihm überprüften Systems wiederholen. Auch die Einstufung von Sicherheitsarbeiten hängt von Definitionen ab, anhand derer verschiedene Labore oder Regulierungsbehörden die Grenzen unterschiedlich ziehen könnten. Zudem beruhen einige Kennzeichnungen der Rechenleistung auf automatisierten Daten oder Nutzereingaben, die nicht vollständig überprüft sind.
Das Unternehmen erklärt, es plane, mehreren unabhängigen Evaluierungsstellen vergleichenden Zugang zu ermöglichen, damit diese Sicherheitspraktiken überprüfen und Vorfälle sowie Indikatoren beobachten können. Tatsächlich verändert hat sich daher die Verfügbarkeit eines Prototyps für Transparenz und intern erhobener, diskutierbarer Daten, nicht jedoch die Einführung eines weltweit verbindlichen Standards. Der Erfolg der Idee wird davon abhängen, ob Definitionen vereinheitlicht, externe Überprüfungen ermöglicht und die Grenzen dessen geklärt werden können, was veröffentlicht werden darf, ohne sensible Wettbewerbsdaten offenzulegen.