Die Artificial Intelligence Underwriting Company, kurz AIUC, hat in einer von Ribbit Capital angeführten Series-A-Finanzierungsrunde unter Beteiligung von First Harmonic 40 Millionen US-Dollar eingesammelt. Ziel ist der Aufbau einer unabhängigen Ebene zur Prüfung und Zertifizierung der Sicherheit von KI-Agenten, die innerhalb von Unternehmen eingesetzt oder von Modell- und Anwendungsunternehmen entwickelt werden.
Das Unternehmen wird von Rune Kvist, einem ehemaligen frühen Mitarbeiter von Anthropic, und Rajiv Dattani geleitet. Dattani war zwischen 2024 und 2025 Chief Operating Officer der Forschungsorganisation für KI-Sicherheit METR und ist weiterhin Mitglied ihres Verwaltungsrats. AIUC zufolge gehören Cursor, Lovable, Harvey und ElevenLabs zu seinen Kunden.
Ein vom Cybersecurity-Audit inspiriertes Standardwerk
AIUC setzt darauf, ein im Bereich der Cybersicherheit vertrautes Modell auf die Risiken von KI-Agenten zu übertragen. Das Unternehmen hat einen Standard namens AIUC-1 sowie einen Test- und Audit-Service entwickelt, der misst, wie sicher und zuverlässig sich ein Agent verhält. Die Idee orientiert sich am bei der Bewertung von Kontrollmechanismen in Technologieunternehmen verbreiteten SOC-2-Standard. Die Quelle gibt jedoch nicht an, dass AIUC-1 außerhalb des Unternehmens und seiner Kunden ein anerkannter oder weit verbreiteter Standard ist.
Zur Ausarbeitung des Standards stellte das Unternehmen eine Koalition aus rund 250 Sicherheits- und Risikomanagementverantwortlichen zusammen – also aus der Gruppe, die Agenten einkauft oder über deren Einführung entscheidet. AIUC nutzt die Einschätzungen dieser Teilnehmer, um festzulegen, welche Fragen und Risiken die Tests abdecken sollten.
Rund 5.000 Tests und abschließende menschliche Überprüfung
Das Unternehmen führt den Agenten durch eine Reihe von rund 5.000 Tests in Szenarien, die unter anderem Versuche zum Umgehen von Schutzvorkehrungen, Halluzinationen und Datenlecks umfassen. Dabei entsteht ein Bericht von ungefähr 100 Seiten, der aufzeigt, in welchen Bereichen sich der Agent sicher und zuverlässig verhält und in welchen Bereichen Schwachstellen oder Bedenken auftreten.
AIUC setzt KI-Agenten ein, um die Tests durchzuführen und die Daten zu analysieren. Rune Kvist erklärte jedoch, dass menschliche Auditoren das endgültige Ergebnis des Audits überprüfen. Der Bericht soll dem Unternehmen unabhängige Informationen liefern, bevor es über den Kauf oder die Einführung des Agenten entscheidet, und keine absolute Garantie dafür bieten, dass das System unter allen Umständen sicher ist.
Worin unterscheidet sich dies von den Bewertungen von METR?
METR führt in den Bereichen Autonomie und Bewertung ähnliche Tests durch. Die Arbeit der Organisation konzentrierte sich bis vor Kurzem jedoch stärker auf die Leistung von Agenten und ihre Fähigkeit, bestimmte Aufgaben zuverlässig zu erledigen. AIUC versucht dagegen, die Bewertung auf die Risiken auszurichten, die für Unternehmen beim praktischen Einsatz relevant sind, etwa Datenlecks und unerwünschtes Verhalten.
Die Einschätzung von certi.news
Die wichtigste Entwicklung ist hier nicht allein die Finanzierung, sondern der Versuch, die Sicherheit von KI-Agenten vor dem Kauf in einen vergleichbaren externen Auditprozess zu überführen. Dies könnte Unternehmen helfen, die sich nicht mit den Sicherheitsversprechen der Modellanbieter begnügen können. Offen bleiben jedoch Fragen zum Ausmaß der Marktanerkennung des Standards AIUC-1, dazu, wie sich die Testergebnisse mit der Aktualisierung von Agenten verändern werden, und dazu, ob die 5.000 Tests die tatsächlichen Betriebsumgebungen abbilden. Da sich ein Teil der Tests und der Analyse außerdem auf KI selbst stützt, ist die abschließende menschliche Überprüfung ein entscheidender Faktor für die Glaubwürdigkeit des Services.
Die beiden Gründer von AIUC bringen dieses Modell mit der Schwierigkeit in Verbindung, intelligentere Systeme in Banken, Krankenhäusern, Regierungen und militärischen Einrichtungen einzusetzen, wenn Unternehmen ihren Kunden keine Grenzen für das Verhalten des Systems garantieren können. Dies überschneidet sich mit der Forderung von Dario Amodei, dem CEO von Anthropic, die Entwicklung fortgeschrittener Modelle zu verlangsamen und unabhängige Prüfer zur Überwachung und Überprüfung der Sicherheit einzusetzen, wobei METR als eine der möglichen Optionen genannt wird.