Cloudflare affirme qu’Internet ne s’adresse plus à un seul public humain. Alors que les sites dépendaient autrefois de visiteurs qui lisaient les contenus, regardaient les publicités et payaient des abonnements, les logiciels qui agissent au nom des utilisateurs sont devenus un deuxième public en croissance rapide. Selon les chiffres de l’entreprise, la moyenne des requêtes HTTP traitées par le réseau est passée de 63 millions de requêtes par seconde fin 2024 à environ 115 millions actuellement, avec des pics dépassant 150 millions de requêtes, tandis que les requêtes quotidiennes émises par les agents d’intelligence artificielle ont augmenté de plus de 1 700 % en un an.
Cloudflare ajoute que plus de la moitié du trafic Internet n’était pas humain pour la première fois cette année. Mais l’entreprise distingue trois types différents de trafic automatisé : les robots d’indexation des moteurs de recherche, les robots d’entraînement des modèles et les agents qui récupèrent des informations ou exécutent une action à la demande d’une personne. Cette distinction est importante, car bloquer un agent qui réserve une table ou compare des offres d’assurance peut revenir à bloquer le client humain qui se trouve derrière lui, tandis qu’un robot d’entraînement peut consommer du contenu sans apporter de visiteur ni de revenu direct.
Des visites à l’utilisation payante
Cloudflare estime que le modèle traditionnel du web a été perturbé par les moteurs de réponse qui résument les pages des sites sans y envoyer le lecteur. Les sites assument ainsi les coûts de bande passante, de calcul et de capacité des serveurs d’origine, sans forcément obtenir une impression publicitaire, un abonnement ou une recommandation. L’entreprise affirme que le trafic humain a diminué dans certains secteurs, comme le commerce de détail, les logiciels, les services informatiques et les services financiers, de jusqu’à 40 % en moins d’un an.
Cloudflare a donc proposé deux modèles expérimentaux de monétisation. Le premier est Pay Per Use, qui permet à l’éditeur de choisir de participer et de recevoir une rémunération lorsque son contenu est effectivement utilisé, plutôt que d’être payé pour le simple fait d’être exploré. Selon l’entreprise, l’acheteur définit ce qui constitue une utilisation et la valeur de cette utilisation, tandis que l’éditeur reçoit des rapports sur le contenu utilisé, le moment de l’utilisation et les revenus, et peut également obtenir des données sur les questions qui ont fait apparaître son travail.
Le Monetization Gateway, quant à lui, vise les services, les données, les interfaces de programmation et les outils pouvant être tarifés à la requête, à la demande d’information ou au jeton. Dans le cadre du test fermé, accessible aux clients éligibles aux États-Unis, les règles peuvent renvoyer une réponse HTTP 402 Payment Required en utilisant le protocole ouvert x402, afin que l’agent paie directement le vendeur. Cloudflare affirme que sa passerelle AI Gateway utilise ce système pour payer les coûts d’inférence, ce qui fait de l’entreprise un utilisateur précoce de cette technologie.
Visibilité sur les agents et définition de leurs conditions
L’entreprise propose des outils tels que AI Crawl Control, Business Insights et BotBase pour afficher les entités qui explorent le site et les adresses qu’elles demandent. Web Bot Auth permet également de signer cryptographiquement les requêtes des agents ; Cloudflare affirme que plus de 500 milliards de requêtes de robots authentifiés transitent chaque semaine par son réseau. En juillet, l’entreprise a remplacé une clé unique de blocage des robots d’intelligence artificielle par des contrôles distincts pour la recherche, les agents et l’entraînement, accessibles sur toutes les formules, y compris les offres gratuites.
Le 15 septembre, Cloudflare a lancé l’option Disallow AI Training afin de maintenir le site indexable dans les moteurs de recherche tout en demandant à l’opérateur de ne pas utiliser les données pour l’entraînement. L’entreprise affirme qu’Apple, Google et Microsoft se sont engagés à respecter cette option, tandis que Cloudflare Radar suit publiquement le comportement des robots d’indexation. L’entreprise propose également Markdown for Agents, afin de réduire les éléments visuels inutiles pour les agents, ainsi que WebMCP, pour afficher directement les actions au lieu de contraindre l’agent à deviner les boutons et les interfaces.
Pourquoi cette évolution est-elle importante ?
Le véritable changement ne réside pas seulement dans l’augmentation du nombre de robots, mais dans le passage de l’agent du statut de consommateur de contenu à celui de partie capable d’acheter un service ou d’exécuter une transaction. Cela oblige les propriétaires de sites à connaître l’identité du visiteur automatisé, à distinguer son objectif, à définir des conditions différentes pour la recherche, l’entraînement et l’utilisation commerciale, puis à mesurer la valeur et à la régler financièrement.
Cloudflare présente néanmoins ces modèles comme des paris expérimentaux et non comme une norme établie. La définition de l’« utilisation » varie entre un moteur de recherche qui cite une source, un agent de recherche qui reprend un paragraphe et un agent commercial qui réalise un achat. De même, la tarification et la détection n’ont pas encore été tranchées, et l’article n’explique pas comment les rapports d’utilisation seront vérifiés ni comment seront réglés les litiges concernant la valeur et les paiements. La question de la concentration de l’infrastructure reste également ouverte : Cloudflare appelle à des normes telles que x402 et Web Bot Auth, mais demeure un fournisseur d’une grande partie des outils de visibilité, d’identité et de recouvrement.
L’entreprise affirme que plus de 20 % du web se trouve derrière son réseau et qu’environ 80 % des principales entreprises d’intelligence artificielle l’utilisent. Elle mise sur le fait de devenir une couche commune de gestion de l’identité, de mesure, de tarification et de règlement, tout en laissant la décision finale aux propriétaires des domaines. La réussite de cette vision dépendra de l’acceptation de ces mécanismes ouverts par les agents et les éditeurs, ainsi que de la capacité du marché à transformer les visites automatisées, qui constituent aujourd’hui un coût non rémunéré, en une utilisation mesurable et tarifable.