أعلنت Cloudflare عن ميزة Bot Preference Sync لمزامنة ملف robots.txt تلقائياً مع تفضيلات الموقع المتعلقة بثلاث فئات من حركة روبوتات الذكاء الاصطناعي: البحث (Search)، والوكلاء (Agent)، والتدريب (Training). وتهدف الميزة إلى منع التناقض بين ما يعلنه الموقع في ملفه العام وما تفرضه قواعد Cloudflare عند الحافة، من دون حاجة إلى إدارة ملف ثابت بشكل منفصل.
قالت الشركة إن بعض المواقع قد تضع توجيهاً يمنع زاحفاً معيناً في robots.txt، بينما لا تمنعه قواعد التنفيذ الفعلية، أو يحدث العكس. ويمكن لهذا التعارض أن يدفع بعض الزواحف إلى تجاهل التفضيلات المعلنة أو محاولة تجاوز القواعد المفروضة. عند تفعيل Bot Preference Sync، تُضاف التوجيهات التي تعكس إعدادات AI bot configuration إلى بداية الملف الحالي، مع الحفاظ على تعليمات Disallow الموجودة مسبقاً.
خيارات مختلفة للبحث والوكلاء والتدريب
بالنسبة إلى روبوتات البحث والوكلاء، تحتفظ Cloudflare بالخيارات الثلاثة التي أعلنتها في 1 يوليو 2026: السماح، أو الحظر على الصفحات التي تعرض إعلانات، أو الحظر في جميع الصفحات. أما فئة التدريب، فتتضمن خيار Disallow لكتابة تفضيل «عدم التدريب» في robots.txt.
يتيح هذا الخيار للزواحف المختلطة المتعاونة، التي تستخدم الزاحف نفسه للبحث والتدريب أو لاستخدامات أخرى، مواصلة الوصول إلى المحتوى من أجل فهرسته في البحث إذا التزمت بتفضيل عدم التدريب وقدمت مستوى الشفافية المطلوب. وتقول Cloudflare إن الظهور في البحث لدى الزواحف المتعاونة لا يتأثر في هذه الحالة، بينما تظل الزواحف التي لا توفر الشفافية محظورة عند اختيار منع التدريب.
الشفافية شرط للتعامل مع الزواحف المختلطة
تربط Cloudflare التعامل مع الزواحف التي تجمع بين البحث والتدريب بقدرتها على توضيح هويتها وكيفية استخدام البيانات التي تجمعها. ووفق الإعلان، ينبغي لهذه الزواحف احترام تفضيل عدم التدريب بأي آلية، وإتاحة خيار لأصحاب المواقع لرفض الملخصات التي ينتجها الذكاء الاصطناعي، وتوفير رؤية على مستوى عناوين URL للصفحات المتاحة للتدريب، إلى جانب مقاييس توضح استخدام المحتوى في البحث والتدريب.
كما ينبغي لها أن تتمكن من إظهار أن منع التدريب لا يضر بنتائج البحث التقليدية. وتُدرج Cloudflare الروبوتات التي تستوفي هذه المعايير في قسم شفافية روبوتات الذكاء الاصطناعي ضمن Cloudflare Radar، مع أمثلة على الالتزام بالممارسات المطلوبة أو عدمه.
التوفر والإعدادات الافتراضية
ستتوفر Bot Preference Sync لجميع العملاء، من الخطة المجانية إلى Enterprise، خلال الأسبوع التالي للإعلان المنشور في 21 أغسطس 2026، بحسب ما ذكرته الشركة. وستكون الميزة مفعلة افتراضياً للعملاء الجدد. أما العملاء الحاليون الذين يستخدمون ميزة robots.txt المُدارة القديمة، فستطلب منهم Cloudflare مراجعة تفضيلاتهم وتأكيد الانتقال إلى الميزة الجديدة عند طرحها.
لن تضيف Cloudflare، في الحالة الافتراضية للعملاء الجدد غير المصنفين كناشرين، أي عمليات حظر أو منع عند تسجيل نطاق جديد؛ ويظل تحديد سياسة البحث أو الوكلاء أو التدريب بيد العميل. وبالنسبة إلى المواقع التي تحقق إيرادات من الصفحات المدعومة بالإعلانات، يمكن اختيار الإعداد «أحقق إيرادات من الصفحات التي تحتوي على إعلانات في هذا النطاق»، ما يجعل Training مضبوطاً افتراضياً على Disallow مع إبقاء المحتوى متاحاً للبحث.
لا تقرأ الميزة القواعد الفردية المعقدة أو الاستثناءات الخاصة بشركات بعينها، لأنها مصممة لتطبيق سياسات على مستوى الفئة. لذلك يستطيع أصحاب السياسات الدقيقة تعطيل المزامنة وإدارة robots.txt بما يتوافق مع قواعدهم المخصصة. عملياً، تمنح Bot Preference Sync أصحاب المواقع نقطة تحكم واحدة للتوفيق بين ما يعلنونه للزواحف وما يفرضونه على حركة الذكاء الاصطناعي، مع اختلاف القرار المناسب حسب نموذج الموقع وأولوياته بين الظهور، والإحالات، ومنع استخدام المحتوى في التدريب.
كيف أعددنا هذا الخبر؟
اعتمد الخبر على المصدر الأصلي الموضح أعلاه. قد نستخدم أدوات آلية للمساعدة في الاستخراج والتصنيف والصياغة،
لكن النشر يخضع لقواعد تمنع المحتوى المكرر والقصير أو الروتيني منخفض القيمة.
اقرأ سياستنا التحريرية.