زاحف يستخدم للوصول إلى محتوى المواقع لأغراض تشمل تدريب نماذج الذكاء الاصطناعي أو إنشاء ملخصات.
أطلقت Cloudflare إعداداً جديداً باسم Disallow AI Training يتيح لأصحاب المواقع منع استخدام محتواهم في تدريب نماذج الذكاء الاصطناعي مع إبقائه متاحاً لزواحف البحث التابعة للجهات التي تلتزم بضوابط الشفافية. وتشمل المبادرة Apple وGoogle وMicrosoft، مع استمرار وجود قيود خاصة ببعض الزواحف وبالتحكم في ملخصات الذكاء الاصطناعي.