روبوتات زحف مصنفة في المقال إلى روبوتات البحث والوكلاء والتدريب.
أعلنت Cloudflare عن Bot Preference Sync، وهي ميزة تُحدّث ملف robots.txt تلقائياً وفق إعدادات الموقع الخاصة بروبوتات البحث والوكلاء والتدريب. ستتوفر الميزة لجميع العملاء، من الخطة المجانية إلى Enterprise، مع إبقاء خيار تعطيل المزامنة متاحاً.