Cloudflare gab bekannt, dass Identity-aware AI Gateway durch die Integration mit Cloudflare Access als offene Beta-Version verfügbar ist, während die Funktion User Insights allgemein für alle Kunden von AI Gateway ohne zusätzliche Kosten verfügbar wurde. Beide Funktionen nutzen den Anfrageverkehr, der über das Gateway läuft, um ein Verhaltensbild für jede Person oder jeden Software-Agenten zu erstellen und anschließend die Aufmerksamkeit der Administratoren auf Konten zu lenken, die von ihrem üblichen Muster abweichen.
Cloudflare zufolge stellt es eine organisatorische und sicherheitstechnische Herausforderung dar, zu wissen, wer künstliche Intelligenz nutzt und was diese Person tut. Das Unternehmen verweist auf einen Bericht der Stanford University, dem zufolge 59 % der Organisationen Wissenslücken als größtes Hindernis für die verantwortungsvolle Governance von künstlicher Intelligenz betrachteten. Nach Ansicht des Unternehmens erfordert die Lösung des Problems eine verifizierte Identität, die mit jeder Anfrage verknüpft ist, sowie eine Grundlage, die zeigt, wie die normale Nutzung für jede Identität aussieht.
Verifizierte Identität für jede Anfrage
AI Gateway fungiert als zentraler Kontrollpunkt für die Nutzung künstlicher Intelligenz: Anwendungen und Entwicklerwerkzeuge leiten Anfragen dorthin weiter, anstatt sich direkt mit den Modellen von OpenAI, Anthropic, Google und Workers AI zu verbinden. Auch Tools wie Claude Code, Codex und GitHub Copilot können über das Gateway geleitet werden, sodass für sie dieselbe Transparenz und dieselben Kontrollen gelten.
Durch die Integration mit Cloudflare Access kann der Kunde eine benutzerdefinierte Domain vor das Gateway setzen und sie wie jede andere Anwendung schützen. Dies ermöglicht:
- die Authentifizierung über einen SAML-fähigen Identitätsanbieter wie Okta oder Entra, anstatt Cloudflare-API-Schlüssel zu erstellen und zu verteilen.
- den Zugriff auf das Gateway anhand der zugelassenen Benutzer zu regeln.
- einen sauberen Hostnamen wie ai.example.com zu verwenden, ohne die Konto- oder Gateway-ID in den Link aufzunehmen.
- die verifizierte Access-Benutzer-ID unter dem Feld cf.user_id zu den Anfrage-Metadaten hinzuzufügen. Dadurch können Protokolle, Analysen und Ausgaben nach der Person aufgeschlüsselt werden, die die Anfrage gesendet hat.
In Verbindung mit Ausgabenlimits lässt sich für jeden Benutzer ein eigenes Budget einrichten. Beim Erreichen des Limits können Anfragen dann blockiert oder an ein kostengünstigeres Modell weitergeleitet werden. Cloudflare zufolge werden Gruppen des Identitätsanbieters künftig in der Lage sein, die Ausgabenlimits oder verfügbaren Modelle für jede Gruppe festzulegen, etwa indem dem Machine-Learning-Team Zugriff auf fortgeschrittene Modelle gewährt oder dem Supportteam ein Ausgabenlimit auferlegt wird.
Max Baumgarten, Senior Security Engineer bei Flexport, sagte, dass gemeinsam genutzte API-Schlüssel es erschwerten, festzustellen, welcher Benutzer einen KI-Dienst nutzt, und Zugriffsregeln für Mitarbeiter anzuwenden. Er fügte hinzu, dass das Vorschalten von Cloudflare Access vor AI Gateway jede Anfrage mit einer verifizierten Identität verknüpfe und die Nutzung bestehender Identitätsrichtlinien ermögliche, ohne für jeden Kunden ein separates Authentifizierungssystem zu erstellen.
User Insights erstellt eine Grundlage für jedes Konto
User Insights wird innerhalb von AI Gateway angezeigt und liest den bereits vorhandenen Datenverkehr, ohne dass eine zusätzliche Einrichtung erforderlich ist. Die Funktion verfolgt Kosten und Verschwendungsquellen, etwa niedrige Cache-Trefferraten oder große Kontextfenster, konzentriert sich aber auch auf eine andere Frage: Verhält sich das Konto im Vergleich zu seiner bisherigen Entwicklung normal?
Die Funktion behandelt Personen und Agenten so, als hätte jeder von ihnen ein anderes Muster. Ein Agent kann beispielsweise regelmäßig alle drei Stunden Tickets zusammenfassen, während eine Person unterschiedliche Anfragen sendet und bei der Bearbeitung komplexer Probleme lange Sitzungen durchführt. Daher vergleicht User Insights eine Sitzung mit der Historie des jeweiligen Kontos und nicht mit einem einheitlichen Schwellenwert für alle Benutzer.
Die Überwachung beginnt damit, die Sitzungskosten der letzten 30 Tage zu erfassen und anschließend das 95. Perzentil (p95) der Sitzungskosten des Kontos zu verwenden. Eine Sitzung, die diese Grundlage um mehr als das Doppelte überschreitet, gilt als starker Kandidat für anomales Verhalten. Gleichzeitig verwendet Cloudflare eine kontoweite Schwelle beim 99. Perzentil (p99) sowie einen Mindestbetrag in Dollar, damit ein sehr kleiner Anstieg bei einem Benutzer mit geringen Ausgaben nicht bereits eine Warnung auslöst.
Abweichungen überwachen, ohne automatisch eine Entscheidung zu treffen
User Insights fasst Konten, die ihr übliches Muster durchbrochen haben, in einer Übersicht über anomales Verhalten zusammen und schließt Anstiege aus, die für einen Benutzer mit intensiver Nutzung oder geringem finanziellen Wert normal erscheinen. Die Abweichung kann darauf hindeuten, dass ein Dienstkonto begonnen hat, teurere Sitzungen auszuführen, oder dass die Ausgaben eines Benutzers stark gestiegen sind und mehrere Tage lang auf diesem Niveau geblieben sind.
Die Funktion bestimmt nicht die Absicht des Benutzers und blockiert ihn nicht automatisch, sondern zeigt dem Administrator ungewöhnliche Konten an, damit dieser eine Untersuchung einleiten kann. Am Ende kann es sich um einen Sicherheitsvorfall handeln oder lediglich darum, den Benutzer auf eine effizientere Vorgehensweise hinzuweisen, etwa darauf, kein vollständiges Software-Repository zu senden, wenn ein Auszug daraus ausreicht. Cloudflare betont, dass die Anzeige von Ausgaben und Abweichungen auch ohne Cloudflare Access funktioniert. Die Verknüpfung der Anfrage mit einer realen Identität verwandelt die anonyme Konto-ID jedoch in einen Namen, gegenüber dem Maßnahmen ergriffen werden können.
Verfügbarkeit und nächste Schritte
User Insights ist ab heute im Dashboard für jeden Kunden von AI Gateway ohne zusätzliche Kosten verfügbar, sofern Datenverkehr über das Gateway läuft. Identity-aware AI Gateway mit Cloudflare Access ist derzeit als offene Beta-Version verfügbar. Cloudflare empfiehlt, zunächst den Überwachungsmodus zu verwenden, um Grundlagen zu ermitteln, bevor Richtlinien oder Nutzungsgrenzen durchgesetzt werden.
Das Unternehmen arbeitet außerdem an einem aufgabenbasierten intelligenten Routing, das das kostengünstigste Modell auswählt, das das gewünschte Ergebnis erzielt, sowie an der Klassifizierung von Anfragen in Kategorien wie Programmierung und Schreiben. Nach Angaben des Unternehmens könnten diese Klassifizierungen Organisationen dabei helfen, den Zweck der Nutzung künstlicher Intelligenz zu verstehen und zwischen geschäftlicher und privater Nutzung zu unterscheiden. Das intelligente Routing und die Klassifizierung befinden sich jedoch weiterhin in der Entwicklung und wurden nicht als im aktuellen Release verfügbare Funktionen angekündigt.