Cloudflare объявила о функции Bot Preference Sync для автоматической синхронизации файла robots.txt с настройками сайта, связанными с тремя категориями трафика роботов искусственного интеллекта: поиском (Search), агентами (Agent) и обучением (Training). Функция призвана предотвращать несоответствие между тем, что сайт заявляет в общедоступном файле, и правилами Cloudflare, применяемыми на периферии, без необходимости отдельно управлять статическим файлом.
Компания заявила, что некоторые сайты могут размещать в robots.txt директиву, запрещающую определённому роботу доступ, тогда как фактические правила исполнения этого не запрещают, или наоборот. Такое несоответствие может побудить некоторых роботов игнорировать заявленные предпочтения или пытаться обойти установленные правила. При включении Bot Preference Sync директивы, отражающие настройки AI bot configuration, добавляются в начало текущего файла с сохранением уже существующих инструкций Disallow.
Разные варианты для поиска, агентов и обучения
Для поисковых роботов и агентов Cloudflare сохраняет три варианта, о которых компания объявила 1 июля 2026 года: разрешение, блокировка на страницах, на которых показывается реклама, или блокировка на всех страницах. Категория обучения включает вариант Disallow для записи в robots.txt предпочтения «не использовать для обучения».
Этот вариант позволяет сотрудничающим смешанным роботам, которые используют одного и того же робота для поиска и обучения или других целей, продолжать получать доступ к контенту для его индексации в поиске, если они соблюдают предпочтение не использовать данные для обучения и обеспечивают требуемый уровень прозрачности. Cloudflare утверждает, что в этом случае присутствие в поиске для сотрудничающих роботов не затрагивается, тогда как роботы, не обеспечивающие прозрачность, блокируются при выборе запрета на обучение.
Прозрачность — условие работы со смешанными роботами
Cloudflare связывает взаимодействие с роботами, совмещающими поиск и обучение, с их способностью разъяснить свою идентичность и способы использования собираемых ими данных. Согласно объявлению, такие роботы должны соблюдать предпочтение не использовать данные для обучения любым способом, предоставлять владельцам сайтов возможность отказаться от создаваемых искусственным интеллектом сводок и обеспечивать видимость на уровне URL-адресов страниц, доступных для обучения, а также предоставлять показатели, отражающие использование контента в поиске и обучении.
Они также должны иметь возможность показать, что запрет на обучение не вредит результатам традиционного поиска. Cloudflare включает роботов, соответствующих этим критериям, в раздел прозрачности роботов искусственного интеллекта в Cloudflare Radar, приводя примеры соблюдения требуемых практик или их несоблюдения.
Доступность и настройки по умолчанию
По словам компании, Bot Preference Sync станет доступна всем клиентам — от бесплатного тарифа до Enterprise — в течение недели после объявления, опубликованного 21 августа 2026 года. Для новых клиентов функция будет включена по умолчанию. Текущим клиентам, использующим прежнюю управляемую функцию robots.txt, Cloudflare предложит проверить свои предпочтения и подтвердить переход на новую функцию после её запуска.
В настройках по умолчанию для новых клиентов, не классифицированных как издатели, Cloudflare не будет добавлять никаких блокировок или запретов при регистрации нового домена; определение политики для поиска, агентов или обучения останется за клиентом. Для сайтов, получающих доход от страниц с рекламой, можно выбрать настройку «Я получаю доход от страниц, содержащих рекламу, в этом домене», в результате чего для Training по умолчанию будет установлено значение Disallow, а контент останется доступным для поиска.
Функция не считывает отдельные сложные правила или специальные исключения для конкретных компаний, поскольку предназначена для применения политик на уровне категории. Поэтому владельцы сайтов с детализированными политиками могут отключить синхронизацию и управлять robots.txt в соответствии со своими пользовательскими правилами. На практике Bot Preference Sync предоставляет владельцам сайтов единую точку управления для согласования того, что они сообщают роботам, с тем, что они применяют к трафику искусственного интеллекта, при этом подходящее решение зависит от модели сайта и его приоритетов в отношении видимости, переходов и запрета использования контента для обучения.