Cloudflare a lancé la fonctionnalité BotBase for Operators afin d’offrir aux opérateurs de robots un moyen plus clair d’inscrire leurs robots dans l’annuaire BotBase et de suivre l’état de leurs demandes après leur envoi. Cette nouvelle fonctionnalité permet de savoir si une demande est en cours d’examen, acceptée ou rejetée, tout en affichant le motif du rejet ou toute modification apportée par Cloudflare à la classification du robot.
Cette initiative intervient après le lancement par Cloudflare d’un annuaire consultable des robots connus dans le tableau de bord, ainsi que d’outils aidant les propriétaires de sites à comprendre comment les robots d’exploration interagissent avec leur contenu. Selon l’entreprise, la gestion du trafic automatisé ne repose pas uniquement sur les décisions des propriétaires de sites : les opérateurs de robots doivent également s’identifier, expliquer leur fonctionnement et maintenir l’exactitude de leurs données.
Un espace unifié pour les demandes d’inscription
Le formulaire de soumission des robots se trouvait auparavant dans Manage Account → Configurations, ce qui rattachait davantage le processus au compte qu’à l’écosystème des robots. Désormais, BotBase for Operators est accessible depuis le chemin Protect & Connect → Application Security → BotBase dans le tableau de bord Cloudflare, et l’entreprise indique que tous les clients peuvent y accéder.
L’interface est divisée en trois sections principales :
- Bots directory : parcourir, rechercher et filtrer les robots suivis par Cloudflare.
- Submission form : envoyer une demande d’inscription d’un nouveau robot.
- Submission history : suivre les demandes soumises par le compte.
La page d’historique des demandes affiche trois états principaux : Waiting for review lorsque la demande est reçue et placée dans la file d’examen, Accepted lorsque le robot est accepté et ajouté à l’annuaire, et Rejected lorsque la demande doit être modifiée. Dans ce dernier cas, le motif du rejet et les étapes requises pour soumettre à nouveau la demande sont affichés.
Modifier les données du robot et décrire son comportement
L’opérateur peut désormais modifier une demande déjà soumise au lieu de créer une nouvelle inscription lorsque des détails changent, par exemple le point d’accès à une liste d’adresses IP ou le passage d’une liste d’autorisation d’adresses IP à l’utilisation d’une signature Web Bot Auth. Il peut également annuler la demande tant qu’elle est en attente d’examen. Cloudflare recommande de maintenir ces données à jour, car leur exactitude contribue à l’obtention et au maintien du statut Verified du robot, tandis que la décision finale d’autoriser le trafic revient à chaque propriétaire de site.
Le nouveau formulaire d’inscription repose sur le modèle de comportement et d’utilisation du contenu présenté par Cloudflare le 1er juillet, plutôt que d’obliger l’opérateur à choisir une seule classification. Le formulaire demande de préciser trois aspects :
- Ce que fait le robot, par exemple indexer des pages, agir au nom de l’utilisateur, collecter des données, entraîner des modèles ou prendre en charge des outils d’optimisation pour les moteurs de recherche.
- La manière dont il utilise le contenu qu’il lit, en précisant le niveau d’utilisation selon le modèle Content Signals.
- L’entité qui l’exploite : un opérateur direct qui gère sa propre infrastructure, ou un intermédiaire qui exécute des demandes émises par un autre produit ou une autre plateforme.
Cloudflare explique qu’un robot qui lit une page pour créer un extrait de recherche est différent d’un robot qui stocke la page afin d’entraîner un modèle. L’entreprise cite l’exemple d’un signal pouvant inclure Content-Signal: search=yes, ai-train=no, use=reference, ce qui autorise l’indexation pour la recherche et la conservation d’une référence, mais n’autorise pas l’entraînement de systèmes d’intelligence artificielle.
Qu’est-ce qui change concrètement ?
Cloudflare a également remanié le processus d’examen afin d’y intégrer des contrôles automatisés, après que le nombre annuel de nouvelles demandes a été multiplié par environ sept depuis 2023. Les systèmes vérifient si le robot est susceptible d’être un doublon, le caractère distinctif de son modèle d’agent utilisateur et la validité du moyen de vérification déclaré. Ils peuvent récupérer une liste d’adresses IP et vérifier le système de noms de domaine inversé, ou contrôler une signature Web Bot Auth. Si la demande nécessite un examen humain, elle est transmise à l’équipe avec l’indication du motif du contrôle, au lieu d’être placée dans une file d’attente non décrite.
Cette mise à jour marque le passage de BotBase d’un annuaire principalement destiné aux propriétaires de sites à un espace qui inclut également les opérateurs de robots. Toutefois, le lancement actuel se concentre uniquement sur la visibilité ; la possibilité de revendiquer et de gérer la propriété d’une inscription, ainsi que de comprendre la manière dont les sites la traitent, est prévue ultérieurement, tandis que l’idée de créer un canal de dialogue entre opérateurs et propriétaires de sites constitue un objectif plus lointain. BotBase ne remplace donc pas les décisions individuelles des sites, mais fournit des informations plus structurées sur lesquelles ces décisions peuvent s’appuyer.