أعلنت Cloudflare في 15 سبتمبر 2026 عن إعداد جديد باسم Disallow AI Training يتيح لأصحاب المواقع رفض استخدام محتواهم في تدريب نماذج الذكاء الاصطناعي من دون حجب زواحف البحث القادرة على إبقاء الموقع قابلاً للاكتشاف. ويستهدف الإعداد مشكلة الزواحف المختلطة التي تستخدم الزاحف نفسه للبحث وتدريب النماذج، ما كان يجبر مالك الموقع عملياً على قبول الاستخدامين أو حجب الاثنين معاً.
يتوفر الإعداد لجميع عملاء Cloudflare، وعلى جميع الخطط، ويمكن ضبطه على مستوى النطاق من إعدادات الأمان. وتقول الشركة إن Apple وGoogle وMicrosoft تلتزم أو تعهدت بالالتزام بهذا الخيار ضمن إطار أطلقت عليه اسم Accountable، وهو تصنيف يمنح لمشغلي الزواحف الذين يوفرون آليات رفض تدريب الذكاء الاصطناعي وملخصاته، وشفافية حول الصفحات المستخدمة، وضمانات بعدم تأثير الرفض في نتائج البحث التقليدية.
كيف يعمل الإعداد الجديد؟
ينشر Bot Preference Sync تفضيلاً مناسباً في ملف robots.txt. وعند اختيار Disallow AI Training، تبقى الزواحف المختلطة المصنفة Accountable مسموحة للوصول بغرض البحث، بينما تُحجب زواحف التدريب الأخرى، بما فيها الزواحف التي تديرها Amazon وAnthropic وMeta وOpenAI، من دون التأثير في ظهور الموقع ضمن البحث عبر هذه الجهات.
أعادت Cloudflare أيضاً تعريف بعض خياراتها القائمة. فأصبح خيارا Block وBlock on pages with ads ينطبقان على الزواحف المختلطة مثل Applebot وBingbot وGooglebot، ما يعني أن استخدامهما قد يحجب البحث والتدريب معاً. كما ستتقاعد تسميتا Block AI Bots وManaged Robots.txt لصالح ضوابط منفصلة للبحث والتدريب والوكلاء، مع ترحيل إعدادات العملاء الحاليين إلى النظام الجديد.
ما الذي يختلف بين الشركات؟
تتيح Apple لأصحاب المواقع رفض التدريب عبر قاعدة robots.txt الخاصة بـ Applebot-Extended، كما تدعم حالياً تفضيلات ملخصات الذكاء الاصطناعي عبر توجيه nosnippet، لكنها لا توفر بعد أداة لفحص الصفحات على مستوى عنوان URL. وذكرت Apple أن رفض التدريب لا يؤثر في ترتيب البحث.
تدعم Google قاعدة Google-Extended، وتوفر مفتاحاً داخل بوابة مشرفي المواقع لاستبعاد المحتوى من نتائج البحث التوليدية، إلى جانب تقارير عن نتائج البحث وملخصات الذكاء الاصطناعي. أما Microsoft فتتيح حالياً التحكم عبر وسم NOARCHIVE وأدوات حجب عناوين URL أو إزالة المحتوى في Bing Webmaster Tools، لكنها تستهدف إضافة دعم تفضيل عدم التدريب في robots.txt على مستوى النطاق أو الموقع في أوائل عام 2027. وحتى ذلك الحين، لا ينقل إعداد Cloudflare الجديد هذا التفضيل تلقائياً إلى Bing.
ما الذي يتغير عملياً لأصحاب المواقع؟
لن يحتاج معظم العملاء الحاليين إلى إجراء فوري، إذ ستنقل Cloudflare الإعدادات الحالية مع الحفاظ على أثرها العملي. لكن من يريد حجب Applebot أو Bingbot أو Googlebot بالكامل، بما في ذلك وصولها لأغراض البحث، سيتعين عليه اختيار Block بدلاً من Disallow AI Training. أما النطاقات الجديدة، فستقترح عليها Cloudflare إعدادات مسبقة تختلف بحسب اعتماد الموقع على الإعلانات، لأن حجب الزيارات أو استبدالها بإجابة مولدة قد يؤثر في نموذج تحقيق الدخل.
القراءة التحريرية من certi.news
التغيير الفعلي هنا ليس مجرد إضافة قاعدة إلى robots.txt، بل نقل القرار من خيار ثنائي إلى سياسة أكثر تفصيلاً تربط بين هوية الزاحف والغرض من الزيارة. هذا مهم للناشرين الذين يريدون الحفاظ على الظهور في البحث من دون منح موافقة عامة على تدريب النماذج، لكنه لا يلغي الحاجة إلى التحقق من التزام كل مشغل فعلياً بالتفضيلات المنشورة.
وتبقى ملخصات الذكاء الاصطناعي قضية مختلفة عن التدريب: فالملخص قد يقلل الزيارات إلى الموقع، لكنه قد يحيل عدداً أقل من المستخدمين ذوي نية شراء أعلى. لذلك تخطط Cloudflare بحلول أوائل العام المقبل لإتاحة تحكم أدق في مقدار المحتوى الذي يظهر في الملخصات من خلال إعداد مركزي، بدلاً من إدارة التفضيل لدى كل مشغل على حدة. كما تظل قابلية التشغيل البيني للمعايير، ومنها ai-prefs، وسلوك الوكلاء المستخدمين نيابة عن البشر، من المسائل المفتوحة.
كيف أعددنا هذا الخبر؟
اعتمد الخبر على المصدر الأصلي الموضح أعلاه. قد نستخدم أدوات آلية للمساعدة في الاستخراج والتصنيف والصياغة،
لكن النشر يخضع لقواعد تمنع المحتوى المكرر والقصير أو الروتيني منخفض القيمة.
اقرأ سياستنا التحريرية.