ملف تستخدمه المواقع لنشر تفضيلاتها وقواعدها الأساسية المتعلقة بالزحف الآلي.
تقدم Cloudflare نظاماً يقيس ما إذا كانت الروبوتات الموثقة تحترم تفضيلات المواقع، مثل robots.txt واستجابات HTTP 429، بدلاً من الاكتفاء بالتحقق من هويتها. وستحوّل الشركة هذه الملاحظات إلى نطاق ثقة يمكن استخدامه مستقبلاً لاتخاذ قرارات بشأن السماح بالزيارات الآلية.
تعتزم Meta تطبيق تحديث على شروطها التجارية في 30 أكتوبر يتيح لها استخدام محتوى المواقع المرتبطة بحسابات الأعمال في الوصول والفهرسة والتحليل والتدريب، من دون خيار انسحاب واضح. وبينما تقول الشركة إن التغيير يقتصر على توحيد البنود ولا يغير آلية زحفها إلى الويب، يحذر خبراء قانونيون من أنه قد يوسع صلاحياتها تجاه الناشرين ومحتوى الويب.
أطلقت Cloudflare إعداداً جديداً باسم Disallow AI Training يتيح لأصحاب المواقع منع استخدام محتواهم في تدريب نماذج الذكاء الاصطناعي مع إبقائه متاحاً لزواحف البحث التابعة للجهات التي تلتزم بضوابط الشفافية. وتشمل المبادرة Apple وGoogle وMicrosoft، مع استمرار وجود قيود خاصة ببعض الزواحف وبالتحكم في ملخصات الذكاء الاصطناعي.
أعلنت Cloudflare عن Bot Preference Sync، وهي ميزة تُحدّث ملف robots.txt تلقائياً وفق إعدادات الموقع الخاصة بروبوتات البحث والوكلاء والتدريب. ستتوفر الميزة لجميع العملاء، من الخطة المجانية إلى Enterprise، مع إبقاء خيار تعطيل المزامنة متاحاً.