Suivez les dernières actualités, explications et histoires technologiques associées.
Cloudflare propose un système qui mesure si les robots vérifiés respectent les préférences des sites, comme robots.txt et les réponses HTTP 429, au lieu de se contenter de vérifier leur identité. L’entreprise transformera ces observations en une plage de confiance qui pourra être utilisée à l’avenir pour prendre des décisions concernant l’autorisation des visites automatisées.
Meta prévoit d’appliquer une mise à jour de ses conditions commerciales le 30 octobre, qui lui permettra d’utiliser le contenu des sites liés à des comptes professionnels pour y accéder, l’indexer, l’analyser et l’utiliser à des fins d’entraînement, sans option claire de retrait. Alors que l’entreprise affirme que le changement se limite à harmoniser les clauses et ne modifie pas son mécanisme d’exploration du Web, des experts juridiques avertissent qu’il pourrait élargir ses droits à l’égard des éditeurs et du contenu en ligne.
Cloudflare a lancé un nouveau paramètre baptisé Disallow AI Training, qui permet aux propriétaires de sites d’empêcher l’utilisation de leur contenu pour entraîner des modèles d’intelligence artificielle tout en le laissant accessible aux robots d’exploration des moteurs de recherche des entités qui respectent des règles de transparence. L’initiative inclut Apple, Google et Microsoft, tandis que certaines restrictions spécifiques à certains robots et au contrôle des résumés générés par l’intelligence artificielle restent en vigueur.
Cloudflare a annoncé Bot Preference Sync, une fonctionnalité qui met automatiquement à jour le fichier robots.txt selon les paramètres du site concernant les robots de recherche, les agents et l’entraînement. La fonctionnalité sera disponible pour tous les clients, de l’offre gratuite à Enterprise, avec la possibilité de désactiver la synchronisation.