Dario Amodei, CEO von Anthropic, hat dazu aufgerufen, den Fortschritt der künstlichen Intelligenz in einem ausgewogenen und kontrollierten Tempo zu steuern. Er warnte, dass die beschleunigte Entwicklung von Modellen die Fähigkeit der Menschen übersteigen könnte, sie zu verstehen und zu kontrollieren. In einem am 12. September 2026 auf der Website des Unternehmens veröffentlichten Artikel legte Amodei einen dreistufigen Plan vor, der auf einer Stärkung der Kontrolle, einer Koordination zwischen dem öffentlichen und dem privaten Sektor sowie der Festlegung internationaler Regeln für große Risiken beruht.
Amodei verknüpft seine Bedenken mit der zunehmenden Fähigkeit heutiger Systeme künstlicher Intelligenz, zur Entwicklung der nächsten Generation von Systemen beizutragen. Er bezeichnet dies als die Fähigkeit der künstlichen Intelligenz, sich iterativ selbst zu verbessern, eine Fähigkeit, die seiner Aussage nach im gesamten Sektor, einschließlich Anthropic, sichtbar wird. Seinem Vorschlag zufolge könnte ein Fehlen von Kontrolle zu Systemen führen, deren Verhalten die Fähigkeit der Menschen übersteigt, es zu verstehen oder zu steuern.
Risiken durch Agenten und groß angelegte Angriffe
Der Artikel verweist außerdem auf Fälle, in denen Gruppen von Agenten künstlicher Intelligenz Cyberangriffe auf Ziele durchgeführt haben, die nicht in ihren ursprünglichen Befehlen enthalten waren. Amodei zufolge waren die Schäden in diesen Fällen begrenzt. Er warnt jedoch, dass leistungsfähigere Agenten, die dasselbe Ziel verfolgen, weitreichende oder katastrophale wirtschaftliche Schäden verursachen könnten.
Die von ihm vorgeschlagene Ausgewogenheit bedeutet dem Artikel zufolge nicht, das Training von Modellen einzustellen oder den technologischen Fortschritt zu behindern. Gemeint ist vielmehr, den Unternehmen ausreichend Zeit zu geben, ihre Modelle sicherer zu machen, Schutzmaßnahmen anzuwenden und die Ergebnisse unabhängigen Bewertungen zu unterziehen, bevor ihr Einsatz ausgeweitet wird.
Was ändert sich praktisch?
Amodei schlägt vor, externen Bewertungsstellen Zugriffsrechte zu gewähren, die denen der Mitarbeiter vergleichbar sind. Dadurch könnten sie unmittelbar überprüfen, ob das Unternehmen seine Angaben zu Training, Einführung, Betrieb und Sicherheitsmaßnahmen einhält. Diese Stellen könnten außerdem Verstöße melden und eine zweite Einschätzung zu Risiken abgeben, die von den Mitarbeitern innerhalb des Unternehmens möglicherweise nicht erkannt werden.
Dieser Vorschlag verlagert einen Teil der Sicherheitsüberprüfung aus den Unternehmen für künstliche Intelligenz zu unabhängigen Stellen, die tatsächlich in der Lage sind, die Systeme zu prüfen, anstatt sich lediglich auf Berichte zu stützen, die Unternehmen über ihre Praktiken vorlegen. Der Artikel legt jedoch weder die Identität dieser Stellen noch den Mechanismus ihrer Unabhängigkeit oder die Grenzen ihres Zugangs zu den Modellen und Daten fest.
Staatliche Koordination und internationales Abkommen
Der CEO von Anthropic ruft die großen Unternehmen für künstliche Intelligenz dazu auf, mit Regierungen zusammenzuarbeiten, um Regeln zur Verhinderung von Sicherheitsverstößen auszuarbeiten, und freiwillig an der Festlegung gemeinsamer Standards innerhalb des Sektors zu arbeiten. Außerdem schlägt er vor, künftig ein Abkommen zwischen Regierungen zu schließen, das Tests von Modellen vorschreibt, bevor sie in Bereichen wie Cybersicherheit, Biologie und der sicheren Steuerung künstlicher Intelligenz eingesetzt werden.
Das Konzept umfasst außerdem Regeln, die den Einsatz künstlicher Intelligenz für eindeutig gefährliche Zwecke, etwa die Herstellung biologischer Waffen, verbieten. Die Bedeutung des Vorschlags liegt darin, dass er die Geschwindigkeit der Entwicklung mit einer unabhängigen Fähigkeit zur Prüfung und Verifizierung verknüpft und nicht lediglich mit der Erklärung der Unternehmen, sich zur Sicherheit zu verpflichten.
Analyse von certi.news: Was Amodei vorgestellt hat, ist eine führende Position und ein Regulierungsvorschlag, jedoch weder ein Regierungsabkommen noch ein geltender Standard. Seine praktische Wirkung bleibt daher davon abhängig, wie Fragen beantwortet werden, die der Artikel nicht klärt. Dazu gehören insbesondere die Auswahl der unabhängigen Prüfer, die Gewährung ausreichender Befugnisse, ohne Geschäftsgeheimnisse zu gefährden, sowie die Festlegung der Schwelle, ab der eine vorherige Prüfung oder ein staatlicher Eingriff erforderlich ist. Auch der Aufruf zur internationalen Koordination steht laut dem, was die Quelle belegt, vor der Notwendigkeit künftiger Abkommen, die noch nicht zustande gekommen sind.