Cloudflare et OpenAI ont dévoilé les premiers résultats d’une expérience de recherche commune visant à améliorer la manière dont les systèmes d’intelligence artificielle découvrent les pages web utiles et constamment mises à jour. Lancée en juillet 2026, l’expérience s’est appuyée sur des signaux provenant du réseau Cloudflare pour aider le robot d’exploration de recherche d’OpenAI à déterminer quelles pages méritent d’être examinées, avant de mobiliser des ressources supplémentaires pour les télécharger et les analyser.
Les deux entreprises affirment que l’expérience, limitée à un échantillon représentant environ 1 % de l’ensemble du réseau Cloudflare, a permis à OpenAI de découvrir et d’indexer des centaines de millions de nouvelles pages web. OpenAI utilise ces pages comme sources susceptibles d’apparaître auprès des utilisateurs de ChatGPT, tandis que l’évaluation et le classement finaux des pages restent effectués par ses propres systèmes, selon leur pertinence et leur utilité.
De l’amélioration de la visibilité à l’amélioration de la découverte
Cloudflare estime que l’apparition d’un site dans les résultats de recherche traditionnels n’est plus le seul indicateur de sa découvrabilité. Lorsqu’un utilisateur s’appuie sur un système d’intelligence artificielle pour obtenir une réponse ou accomplir une tâche, le système doit d’abord pouvoir trouver la page appropriée, puis déterminer si elle contient des informations originales, utiles et accessibles.
Parmi les exemples figurent des pages qui peuvent recevoir peu de liens provenant d’autres sites, tout en restant concrètement importantes, comme un guide d’installation pour un appareil donné, les exigences actualisées en matière de passeport, ou le menu et les horaires d’ouverture d’un restaurant. Les signaux réseau jouent ici le rôle de boucle de rétroaction, en aidant OpenAI à orienter les ressources d’exploration vers les pages susceptibles d’apporter une réelle valeur.
Réduire l’exploration inutile et améliorer la sécurité
L’expérience a montré que trouver une URL ne signifie pas nécessairement qu’elle contient un contenu valable pour l’indexation. Des requêtes automatisées répétées vers des fichiers inexistants peuvent rendre un site particulièrement intéressant en apparence. De même, certains sites peuvent rediriger de nombreuses adresses vers leur page d’accueil, ou plusieurs adresses peuvent mener vers des copies dupliquées d’un même contenu.
La détection de ces schémas avant la récupération de la page peut réduire les téléchargements inutiles et la charge imposée aux sites. Les deux entreprises testent également des signaux destinés à identifier les pages potentiellement malveillantes, comme une fausse page de connexion installée par un attaquant au sein d’un site légitime. Plutôt que de pénaliser l’ensemble du domaine, une évaluation au niveau de la page permet d’isoler le contenu suspect et de l’exclure de l’index, selon les premiers résultats présentés par Cloudflare.
Qu’est-ce qui change concrètement pour les propriétaires de sites ?
La mise à jour constante de chaque page ne signifie pas que le robot d’exploration doit télécharger à nouveau l’intégralité du site. Les signaux liés aux modifications peuvent aider à déterminer quand une nouvelle visite d’une page est justifiée, tandis que les filtres empêchent l’exploration des pages inexistantes ou qui redirigent vers d’autres emplacements. La découverte de nouvelles pages peut initialement accroître l’exploration, mais l’objectif est de maintenir l’index à jour tout en réduisant le travail répété sur les pages qui n’ont pas changé.
Cloudflare indique que la prochaine phase se concentrera sur l’amélioration de la sélection des pages, le test de signaux plus rapides et plus fiables pour détecter les changements, ainsi que la mesure des résultats après la découverte du contenu. Les deux entreprises continueront également d’étudier si l’amélioration de la découverte produit des résultats concrets pour les propriétaires de sites, comme une hausse du trafic ou l’accès à un public intéressé.
Limites de l’expérience : Cloudflare souligne qu’un signal concernant une page n’accorde pas l’autorisation d’y accéder et que la recherche utilise des métadonnées du web à des fins de découverte et d’indexation, et non pour partager le contenu des pages afin d’entraîner les modèles. Les propriétaires de domaines peuvent utiliser l’outil AI Crawl Control de Cloudflare pour comprendre et gérer l’accès des systèmes d’intelligence artificielle à leurs sites.