Следите за последними материалами, объяснениями и связанными технологическими историями.
Cloudflare объявила о выпуске Bot Preference Sync — функции, которая автоматически обновляет файл robots.txt в соответствии с настройками сайта для поисковых роботов, агентов и обучения. Функция будет доступна всем клиентам — от бесплатного тарифа до Enterprise, при этом возможность отключить синхронизацию сохранится.