Cloudflare a annoncé un nouveau système destiné à évaluer en continu le comportement des robots vérifiés, dans le but de relier l’identité du robot à un historique concret indiquant dans quelle mesure il respecte les préférences des sites. Selon l’entreprise, savoir quelle entité exploite le robot ne suffit pas à lui seul pour juger de sa fiabilité, car un robot connu peut ignorer les instructions des sites ou continuer à envoyer des requêtes malgré la réception de signaux clairs lui demandant de réduire son activité.
Cloudflare utilise le terme Verified Bot pour désigner les robots qui remplissent trois conditions essentielles : s’identifier avec précision et de manière sécurisée, faire ce qu’ils disent qu’ils vont faire et ne pas adopter de comportement abusif. L’identification repose sur Web Bot Auth, qui sert à signer les requêtes, tandis que BotBase répertorie ces identités dans un format ouvert. Le nouveau système se concentre sur les deuxième et troisième conditions, en surveillant le comportement répété plutôt qu’en formulant un jugement permanent sur la base d’un incident isolé.
De l’identité à la confiance accumulée
Cloudflare distingue les risques de la confiance. Les risques décrivent la probabilité qu’une requête donnée soit nuisible à un moment précis, tandis que la confiance se construit au fil d’un comportement répété et cohérent. L’entreprise transformera les observations comportementales en une « plage de confiance » interprétable, indiquant dans quelle mesure le robot respecte régulièrement les préférences des sites ainsi que les facteurs ayant conduit à cette évaluation.
L’entreprise cite notamment le retrait du robot de Perplexity de la liste des robots vérifiés en 2025, après qu’il a tenté d’accéder à des ressources sur des sites ayant choisi de ne pas autoriser le scraping, puis essayé de contourner les contrôles lorsque ces requêtes ont été bloquées.
Les signaux surveillés par le système
L’évaluation initiale se concentre sur deux questions : le robot respecte-t-il les instructions publiées ? Et réagit-il aux retours directs du site ? Cloudflare considère le fichier robots.txt comme le principal moyen par lequel les sites publient leurs préférences en matière d’exploration. Le système surveille donc si le trafic du robot correspond à ces préférences au fil du temps, en se concentrant sur les schémas récurrents plutôt que sur les infractions isolées.
L’entreprise précise que robots.txt définit l’ensemble minimal de règles que le robot doit respecter, et que tout ce qui n’y est pas mentionné n’est pas automatiquement autorisé. Le site peut envoyer d’autres signaux indiquant que la poursuite de l’accès n’est pas souhaitée.
Le système surveille également la réaction du robot au code HTTP 429, qui signifie « trop de requêtes » et demande au visiteur de réduire le rythme des requêtes, en pouvant indiquer un délai à respecter avant une nouvelle tentative. Un robot qui ralentit ou s’arrête après avoir reçu ce signal renforce sa plage de confiance, tandis que l’ignorer à plusieurs reprises entraîne une baisse de l’évaluation.
Qu’est-ce qui change concrètement ?
Cloudflare indique que le système fonctionne actuellement en interne afin d’évaluer dans quelle mesure les robots vérifiés respectent les préférences des sites. L’entreprise prévoit de le mettre à la disposition de tous ses clients, en leur permettant de définir le niveau de confiance requis lorsqu’ils décideront de la manière de traiter le trafic Verified Bot.
Le système s’inscrit dans une boucle de responsabilisation qui l’associe à Bot Preference Sync, qui aide les propriétaires de sites à publier leurs préférences, et à Bot Management, qui leur permet de définir la manière de traiter le trafic automatisé. En pratique, cela ajoute une couche comportementale à la décision d’autoriser le trafic : le site ne se fondera pas uniquement sur l’identité du robot, mais pourra s’appuyer sur son historique de respect des instructions et de réaction aux signaux de pression.
Cloudflare n’a toutefois pas encore précisé les détails du mécanisme de calcul de la plage de confiance ni la date de disponibilité générale. Le système en est encore à l’étape de constitution d’un historique et de perfectionnement de la manière dont les observations sont transformées en recommandations. L’entreprise prévoit de publier ces scores ultérieurement sur Radar et d’élargir les signaux pris en compte dans l’évaluation.