Cloudflare ist der Ansicht, dass KI-Agenten die Natur des Webs verändern – nicht nur als neue Art von Software, sondern als neue Art von Besuchern, die im Namen von Menschen oder Unternehmen surfen. Das Unternehmen erklärt, dass ein großer Teil des von ordnungsgemäß arbeitenden Bots erzeugten Datenverkehrs unveränderte Seiten erneut abruft – Milliarden von Anfragen, die Rechenaufwand verursachen, ohne ein klares Ergebnis zu liefern.
Cloudflare bezeichnet das Web, das sich um diese Art von Besuchern bildet, als „agentisches Internet“ (Agentic Internet). Nach ihrer Vorstellung sollte dieses Internet lesbar, auffindbar, ausführbar und bezahlbar sein und auf offenen Werkzeugen und Protokollen beruhen, die Domaininhabern und Agenten eine Zusammenarbeit statt eines Zusammenstoßes ermöglichen.
Agenten zu blockieren, könnte bedeuten, Kunden zu blockieren
Ein Agent unterscheidet sich von einem herkömmlichen Browser: Er rendert kein CSS, sieht keine Hauptbilder und klickt keine Anzeigen an. Er handelt jedoch im Namen eines Menschen, der für seinen Dienst bezahlt, wodurch jede Anfrage mit einem Ziel und finanziellen Kosten verbunden ist. Nach Darstellung von Cloudflare könnte die Behandlung dieser Anfragen als herkömmliches Scraping dazu führen, einen Kunden zu verlieren, statt lediglich eine schädliche Quelle zu stoppen.
Das Unternehmen warnt, dass das derzeitige Web sowie die damit verbundenen Analysewerkzeuge und Geschäftsmodelle nicht für diese Realität entwickelt wurden. Cloudflare ist der Ansicht, dass die Art und Weise, wie Agenten Inhalte lesen, entdecken, abrufen und dafür bezahlen, beeinflussen wird, ob das Internet offen bleibt oder von einer begrenzten Gruppe von Plattformen kontrolliert wird, die Entdeckung, Identität und Zahlungen besitzen.
Vier Säulen des agentischen Internets
Cloudflare erklärt, dass seine Vision auf offenen Standards beruht, die jede Organisation implementieren kann, darunter x402, MCP, Web Bot Auth und PACT. Das Unternehmen betont, dass Domaininhaber die für sie passenden Identitätsanbieter, Zahlungsabwickler und Agentenpartner auswählen und dass Cloudflare eine Option innerhalb des Ökosystems, nicht das gesamte Ökosystem, ist.
Lesen: Web Bot Auth ermöglicht es einem Bot, sich gegenüber Websites kryptografisch zu identifizieren. Dadurch können deren Betreiber festlegen, welche Agenten sie empfangen möchten, statt sich auf den fälschbaren User-Agent zu verlassen. Das Unternehmen erwähnt außerdem „Private Access Control Tokens“ (PACT), die gemeinsam mit Mozilla, Google, Microsoft und Shopify angekündigt wurden und Websites ermöglichen, Agenten anonym zu empfehlen.
Cloudflare schlägt außerdem Markdown for Agents vor, um Websiteinhalte so darzustellen, dass der Verbrauch von Tokens und Bandbreite reduziert wird. Kitesurf ist hingegen ein neuer Browser, den das Unternehmen als leicht genug für den Betrieb auf Workers beschreibt. Er wird für jede Anfrage ausgeführt und anschließend verworfen und stellt Agenten die benötigten Inhalte und Funktionen bereit, ohne auf Menschen ausgerichtete Browserfunktionen.
Entdecken: Nach Ansicht des Unternehmens beginnt der Zugriff auf Ressourcen mit dem Wissen, dass sie existieren. Cloudflare erklärt, dass AI Search derzeit verfügbar ist, sodass jede öffentliche Website für Agenten durchsuchbar gemacht werden kann. Außerdem erwähnt das Unternehmen Agent Engine Optimization (AEO), um die Sichtbarkeit von Marken in wichtigen Modellen und Agenten zu messen. Wenn eine Website für die von Kunden verwendeten Agenten nicht sichtbar ist, könnte sie für diese praktisch unsichtbar werden.
Ausführen: WebMCP ermöglicht es einer Website, ihre Aktionen direkt gegenüber Agenten im Browser bereitzustellen. Statt HTML zu analysieren und Felder und Schaltflächen zu erraten, kann der Agent einen klaren „Vertrag“ für das Werkzeug verwenden und dabei die Sitzung und den aktuellen Status des Benutzers nutzen. Cloudflare erklärt, dass Code Mode noch einen Schritt weiter geht, indem Agenten Werkzeuge durch das Schreiben von Code aufrufen können, mit einem klareren Hinweis darauf, welche Inhalte tatsächlich verwendet wurden.
Bezahlen: Cloudflare ist der Ansicht, dass Werbemodelle und sitzplatzbasierte Abonnements nicht immer zu einem Nutzer passen, der eine Software ist. Das Unternehmen schlägt vor, dass der Agent pro Interaktion bezahlt, etwa für das Abrufen eines Rezepts, die Lizenzierung eines Artikels oder die Nutzung einer API. Jede bezahlte Transaktion hinterlässt nach Angaben des Unternehmens einen Beleg, der nachweist, welcher Agent die Seite abgerufen hat und wofür bezahlt wurde. Das Monetization Gateway ermöglicht Domaininhabern, Zahlungen von Agenten in wenigen Schritten einzurichten.
Gewünschte von schädlichen Agenten unterscheiden
Cloudflare ist nicht der Ansicht, dass die herkömmliche Zweiteilung, nach der Bots schlecht und Menschen gut sind, noch ausreicht. Ein Agent kann erwünscht sein, wenn er Inhalte ressourcenschonend liest, mit der Website gemäß den festgelegten Regeln interagiert und für die Nutzung bezahlt. Er kann schädlich sein, wenn er Millionen von Seiten ohne Vergütung sammelt, versucht, Sperren zu umgehen oder robots.txt ignoriert.
Das Unternehmen schlägt vor, Domaininhabern Werkzeuge zu geben, mit denen sie die Agenten auswählen können, die sie unterstützen möchten. Ein Entwickler könnte etwa die Auffindbarkeit und Bezahlung seines Dienstes erleichtern wollen, während ein Herausgeber Agenten blockieren könnte, die Inhalte kostenlos verbrauchen, und solchen den Zugriff erlauben könnte, die sie lizenzieren oder vergüten. Ein gemeinnütziger Datenanbieter könnte außerdem die Nutzung seiner Dienste erlauben, nachdem eine Gebühr entrichtet wurde, die den zusätzlichen Ressourcenverbrauch abdeckt.
Letztlich präsentiert Cloudflare diese Vorstellung als offene Alternative, deren Infrastruktur nicht einem einzigen Unternehmen gehört. Das Unternehmen fordert Websitebetreiber und Agenten dazu auf, die neuen Internettechnologien über das Dashboard zur Einrichtung agentenbereiter Websites und AI Playground auszuprobieren und sich für Neuigkeiten zum Produkt Answer Engine Optimization zu registrieren.