Cloudflare zufolge dient das Internet nicht mehr nur einem menschlichen Publikum. Während Websites früher auf Besucher angewiesen waren, die Inhalte lasen, Werbung ansahen und Abonnements bezahlten, sind Softwareprogramme, die im Namen der Nutzer handeln, zu einem zweiten, schnell wachsenden Publikum geworden. Nach Angaben des Unternehmens stieg der Durchschnitt der von seinem Netzwerk bearbeiteten HTTP-Anfragen von 63 Millionen Anfragen pro Sekunde Ende 2024 auf derzeit etwa 115 Millionen, mit Spitzen von mehr als 150 Millionen Anfragen. Gleichzeitig nahmen die täglich von KI-Agenten ausgehenden Anfragen innerhalb eines Jahres um mehr als 1700 % zu.
Cloudflare ergänzt, dass in diesem Jahr erstmals mehr als die Hälfte des Internetverkehrs nicht menschlichen Ursprungs war. Das Unternehmen unterscheidet jedoch zwischen drei verschiedenen Arten automatisierten Datenverkehrs: Such-Crawlern, Crawlern zum Training von Modellen und Agenten, die auf Anfrage einer Person Informationen abrufen oder eine Handlung ausführen. Diese Unterscheidung ist wichtig, denn das Blockieren eines Agenten, der einen Tisch reserviert oder Versicherungsangebote vergleicht, könnte bedeuten, den dahinterstehenden menschlichen Kunden zu blockieren, während ein Trainings-Crawler Inhalte nutzen kann, ohne einen Besucher oder direkte Einnahmen zu vermitteln.
Von Besuchen zu kostenpflichtiger Nutzung
Cloudflare zufolge ist das traditionelle Webmodell durch Antwortmaschinen aus dem Gleichgewicht geraten, die Seiten von Websites zusammenfassen, ohne den Leser zu ihnen weiterzuleiten. Dadurch tragen Websites die Kosten für Bandbreite, Rechenleistung und die Kapazität der Ursprungsserver, erhalten aber nicht unbedingt eine Werbeeinblendung, ein Abonnement oder eine Weiterleitung. Das Unternehmen sagt, dass der menschliche Datenverkehr in einigen Bereichen, etwa im Einzelhandel, bei Software, IT-Dienstleistungen und Finanzdienstleistungen, innerhalb von weniger als einem Jahr um bis zu 40 % zurückgegangen ist.
Deshalb hat Cloudflare zwei experimentelle Modelle zur Monetarisierung vorgestellt. Das erste ist Pay Per Use. Es ermöglicht Publishern, sich zu beteiligen und eine Vergütung zu erhalten, wenn ihre Inhalte tatsächlich genutzt werden, anstatt bereits für das bloße Crawlen bezahlt zu werden. Das Unternehmen erklärt, dass der Käufer festlegt, was als Nutzung gilt und welchen Wert diese Nutzung hat. Der Publisher erhält Berichte über die verwendeten Inhalte, den Nutzungszeitpunkt und die Einnahmen und kann außerdem Daten zu den Fragen erhalten, bei denen seine Arbeit angezeigt wurde.
Das Monetization Gateway richtet sich dagegen an Dienste, Daten, Programmierschnittstellen und Tools, die pro Anfrage, Abfrage oder Token bepreist werden können. Im geschlossenen Test, der qualifizierten Kunden in den USA zur Verfügung steht, können Regeln mithilfe des offenen x402-Protokolls eine HTTP-402-Antwort „Payment Required“ zurückgeben, sodass der Agent direkt an den Anbieter zahlt. Cloudflare zufolge nutzt das hauseigene AI Gateway das System zur Bezahlung von Inferenzkosten, wodurch das Unternehmen zu einem frühen Nutzer der Technologie wird.
Agenten sichtbar machen und ihre Bedingungen festlegen
Das Unternehmen bietet Werkzeuge wie AI Crawl Control, Business Insights und BotBase an, um anzuzeigen, welche Akteure eine Website crawlen und welche URLs sie anfordern. Web Bot Auth ermöglicht außerdem die kryptografische Signierung von Agentenanfragen. Cloudflare zufolge passieren wöchentlich mehr als 500 Milliarden authentifizierte Bot-Anfragen sein Netzwerk. Im Juli ersetzte das Unternehmen einen einzigen Schalter zum Blockieren von KI-Bots durch getrennte Kontrollen für Suche, Agenten und Training, die in allen Tarifen einschließlich der kostenlosen verfügbar sind.
Am 15. September führte Cloudflare die Option Disallow AI Training ein. Damit bleibt eine Website für die Suche indexierbar, während der Betreiber angewiesen wird, die Daten nicht zum Training zu verwenden. Das Unternehmen sagt, Apple, Google und Microsoft hätten sich verpflichtet, diese Option zu respektieren, während Cloudflare Radar das Verhalten der Crawler öffentlich verfolgt. Zudem stellt das Unternehmen Markdown for Agents bereit, um für Agenten nicht notwendige visuelle Elemente zu reduzieren, sowie WebMCP, um Aktionen direkt anzuzeigen, anstatt den Agenten zu zwingen, Schaltflächen und Benutzeroberflächen zu erraten.
Warum ist diese Entwicklung wichtig?
Die eigentliche Veränderung besteht nicht lediglich in der steigenden Zahl von Bots, sondern darin, dass der Agent vom Inhaltskonsumenten zu einer Partei wird, die einen Dienst kaufen oder eine Transaktion ausführen kann. Das zwingt Websitebetreiber dazu, die Identität des automatisierten Besuchers zu kennen, zwischen seinen Zwecken zu unterscheiden, unterschiedliche Bedingungen für Suche, Training und kommerzielle Nutzung festzulegen und anschließend den Wert zu messen und finanziell abzurechnen.
Dennoch präsentiert Cloudflare diese Modelle als experimentelle Wetten und nicht als stabilen Standard. Denn die Definition von „Nutzung“ unterscheidet sich zwischen einer Suchmaschine, die eine Quelle zitiert, einem Suchagenten, der einen Absatz übernimmt, und einem Einkaufsagenten, der einen Kauf abschließt. Auch Preisgestaltung und Erkennung sind noch nicht geklärt, und der Artikel erläutert nicht, wie Nutzungsberichte geprüft oder Streitigkeiten über Wert und Zahlungen gelöst werden sollen. Offen bleibt außerdem die Frage der Konzentration der Infrastruktur: Cloudflare setzt sich für Standards wie x402 und Web Bot Auth ein, bleibt jedoch selbst ein Anbieter eines großen Teils der Werkzeuge für Sichtbarkeit, Identität und Abrechnung.
Das Unternehmen sagt, mehr als 20 % des Webs befänden sich hinter seinem Netzwerk und etwa 80 % der führenden KI-Unternehmen nutzten es. Cloudflare setzt darauf, eine gemeinsame Schicht für Identitätsverwaltung, Messung, Preisgestaltung und Abrechnung zu werden, während die endgültige Entscheidung bei den Domaininhabern bleibt. Der Erfolg dieses Konzepts wird davon abhängen, ob Agenten und Publisher diese offenen Mechanismen akzeptieren und ob der Markt in der Lage ist, automatisierte Besuche von einer unbezahlten Kostenposition in eine messbare und bepreisbare Nutzung umzuwandeln.