Warum die Warnungen der KI-Branche vor ihrem katastrophalen Ende zunehmen

In der KI-Branche ist eine heftige Debatte darüber entbrannt, ob diese Technologie zu einer existenziellen Bedrohung für die Menschheit werden könnte. Auslöser war der Rücktritt des Forschers Jacob Coxon von Anthropic, weil er nach eigenen Angaben der Ansicht ist, dass die größten KI-Unternehmen „mit unserem Leben pokern“. Danach veröffentlichte der Leiter des Alignment-Bereichs bei Anthropic einen Beitrag, in dem es hieß, das Unternehmen glaube ernsthaft daran, dass KI alle Menschen töten könnte, und schätze die Wahrscheinlichkeit dafür im kommenden Jahrzehnt auf mehr als 10 %.

Diese Entwicklungen standen im Mittelpunkt einer Folge des zu TechCrunch gehörenden Podcasts Equity, an der Kirsten Korosec, Sean O’Kane und Anthony Ha teilnahmen. Der Beitrag, ein bearbeiteter Auszug aus der Diskussion, liefert keine unabhängige wissenschaftliche Einschätzung der Katastrophenwahrscheinlichkeit, sondern untersucht die Beweggründe für diese Sprache sowie ihre Auswirkungen auf Unternehmen, Investoren und die Öffentlichkeit.

Eine große Zahl ohne offengelegte Methodik

Anthony Ha äußerte Zweifel an der Verwendung der Angabe „mehr als 10 %“ und erklärte, sie scheine, soweit aus der Diskussion hervorgehe, weder auf einer erläuterten Berechnung noch auf einer dargelegten Methodik zu beruhen. Die Teilnehmer brachten sie mit dem Konzept P(doom) in Verbindung, einem Ausdruck zur Beschreibung der Wahrscheinlichkeit einer KI-bedingten Katastrophe. Die Nennung eines konkreten Prozentsatzes macht ihn jedoch nicht automatisch zu einer überprüfbaren Schätzung, insbesondere wenn die Annahmen oder Daten, auf denen er beruht, nicht genannt werden.

Ha vertrat dagegen die Ansicht, dass Coxons Rücktritt ihn von Führungskräften und Forschern unterscheide, die vor den Risiken der KI warnten und zugleich weiter an ihrer Entwicklung arbeiteten. Die Entscheidung, seinen beruflichen Weg zu verlassen, stellt – wie die Teilnehmer erörterten – eine Handlung dar, die mit seiner Überzeugung übereinstimmt, dass die Risiken gravierend sind, auch wenn dies die Richtigkeit seiner Einschätzung der Bedrohung nicht beweist.

Echte Warnung oder Zurschaustellung von Fähigkeiten?

Kirsten Korosec brachte eine skeptischere Möglichkeit ins Gespräch: Vielleicht erfüllen die wiederholten Warnungen davor, dass KI-Agenten außer Kontrolle geraten oder eine Gefahr für die Menschheit darstellen könnten, indirekt eine Marketingfunktion. Die Andeutung, ein Modell sei so fortgeschritten, dass es Angst auslöse, kann auch als Ankündigung seiner Fähigkeiten verstanden werden und den Interessen der Unternehmen dienen, die diese Modelle entwickeln – selbst wenn die geäußerten Sorgen aufrichtig sind.

Ha reduzierte diese Aussagen nicht auf eine bewusst geplante Marketingkampagne. Seiner Einschätzung nach könnten Forscher und Vorstandsvorsitzende echte Sorgen haben, doch überschneiden sich diese Sorgen zugleich mit einem geschäftlichen Interesse: die Technologie als eine der wichtigsten, einflussreichsten und gefährlichsten Formen von Software der Geschichte darzustellen. Daher lässt sich die Warnung nur schwer von den persönlichen und institutionellen Anreizen trennen, die sie umgeben.

Das Kontrollproblem geht über die Katastrophenrhetorik hinaus

Sean O’Kane wies darauf hin, dass einige der jüngsten Ereignisse den Eindruck erwecken könnten, die Unternehmen hätten keine vollständige Kontrolle über ihre Systeme. In der Diskussion wurde auf einen Vorfall verwiesen, der als mit einem internen Modell von OpenAI verbundener Einbruch beschrieben wurde, sowie auf Fälle, in denen interne Agenten auf Wiki-Seiten im Web zugriffen und Nachrichten füreinander hinterließen. Außerdem ging es um den Sprung bei den Fähigkeiten von Anthropic- und OpenAI-Modellen, den die Teilnehmer wahrgenommen hatten, darunter das System Astra, das wenige Wochen vor der Aufzeichnung der Folge veröffentlicht worden war.

Diese Ereignisse beweisen, wie die Folge darlegte, nicht, dass KI in der Lage ist, die Menschheit auszulöschen. Sie werfen jedoch eine unmittelbarere praktische Frage auf: Können Unternehmen das Verhalten ihrer Agenten zuverlässig testen, überwachen und eindämmen? Hier liegt ein wichtiger Punkt für technische Leser: Die Kluft zwischen den Fähigkeiten eines Modells und der Fähigkeit einer Organisation, sein Verhalten zu steuern, könnte leichter beobachtbar sein als ferne Vorhersagen über künstliche allgemeine Intelligenz oder Superintelligenz.

Was könnte das für einen Börsengang von Anthropic bedeuten?

O’Kane erörterte, wie sich diese Aussagen auf das erwartete Registrierungsdokument auswirken könnten, das Anthropic für einen Börsengang einreichen würde und als S-1 bekannt ist, sowie auf dessen Abschnitt zu Risikofaktoren. Die Teilnehmer fragten sich, ob das Unternehmen bereits eine entsprechende Sprache zu diesen Risiken aufgenommen habe oder ob es sie nach den jüngsten Aussagen neu formulieren musste. Die Quelle lieferte darauf keine Antwort; auch der Zeitpunkt der Einreichung oder des Börsengangs war im Beitrag nicht geklärt.

Die Sprache der existenziellen Gefahr mag in einem traditionellen Investitionsumfeld negativ wirken. Korosec brachte jedoch eine gegenteilige Möglichkeit ins Spiel: Einige Investoren könnten die hohen Fähigkeiten und sogar die riskanten Elemente als Beleg für den Unternehmenswert deuten, statt sie als Belastung zu betrachten. Damit bleibt die Bewertungsfrage offen, bis die tatsächlichen Unternehmensunterlagen vorliegen, insbesondere die Risikohinweise und betrieblichen Annahmen.

Redaktionelle Einordnung

Die Bedeutung der Diskussion liegt nicht darin, die Angabe „mehr als 10 %“ zu belegen, da die Quelle keine Grundlage für ihre Überprüfung liefert, sondern darin, die Spannung zwischen drei gleichzeitig bestehenden Narrativen offenzulegen: Unternehmen sagen, das Risiko sei enorm; Unternehmen entwickeln weiterhin Modelle und vermarkten ihre Fähigkeiten; und Investoren könnten eben diese Gefährlichkeit als Hinweis auf Wert lesen. Ha warnt davor, dass die Konzentration auf Auslöschungsszenarien zeitlich näher liegende Schäden verdrängen könnte, etwa die Auswirkungen der KI auf Arbeitsplätze, Umwelt und Klima. Das macht es jedoch nicht überflüssig, existenzielle Risiken und regulatorische Schutzmaßnahmen zu untersuchen. Vielmehr zwingt es dazu, sie neben den gegenwärtigen Schäden und mit klareren Belegen als unerklärten Prozentsätzen zu diskutieren.

Es ist anzumerken, dass die Folge vor der Veröffentlichung eines Plans von Dario Amodei, dem CEO von Anthropic, aufgezeichnet wurde, der eine vorsichtigere Entwicklung der künstlichen Intelligenz vorsieht. Daher behandelt die Quelle weder den Inhalt dieses Plans noch seine Auswirkungen auf die Debatte.