15 сентября 2026 года Cloudflare объявила о новой настройке под названием Disallow AI Training, которая позволяет владельцам сайтов запретить использование своего контента для обучения моделей искусственного интеллекта, не блокируя поисковых роботов, способных сохранить доступность сайта для обнаружения. Настройка направлена на проблему смешанных роботов, использующих одного и того же робота для поиска и обучения моделей, из-за чего владелец сайта фактически был вынужден либо принять оба вида использования, либо заблокировать их одновременно.
Настройка доступна всем клиентам Cloudflare и на всех тарифах; её можно задать на уровне домена в настройках безопасности. Компания заявляет, что Apple, Google и Microsoft соблюдают или обязались соблюдать этот параметр в рамках инициативы под названием Accountable. Это обозначение присваивается операторам роботов, которые предоставляют механизмы отказа от обучения искусственного интеллекта и его сводок, обеспечивают прозрачность в отношении используемых страниц и гарантируют, что отказ не повлияет на традиционные результаты поиска.
Как работает новая настройка?
Bot Preference Sync публикует соответствующее предпочтение в файле robots.txt. При выборе Disallow AI Training смешанным роботам с классификацией Accountable по-прежнему разрешён доступ для поиска, тогда как другие роботы обучения блокируются, включая роботов, которыми управляют Amazon, Anthropic, Meta и OpenAI, без влияния на появление сайта в поиске через эти организации.
Cloudflare также переопределила некоторые существующие параметры. Теперь настройки Block и Block on pages with ads применяются к смешанным роботам, таким как Applebot, Bingbot и Googlebot, а это означает, что их использование может одновременно блокировать поиск и обучение. Названия Block AI Bots и Managed Robots.txt также будут выведены из употребления в пользу отдельных средств управления поиском, обучением и агентами, а настройки существующих клиентов будут перенесены в новую систему.
Чем отличаются компании?
Apple позволяет владельцам сайтов отказаться от обучения с помощью правила robots.txt для Applebot-Extended, а также уже поддерживает предпочтения в отношении сводок искусственного интеллекта через директиву nosnippet, но пока не предоставляет инструмента для проверки страниц на уровне URL. Apple заявила, что отказ от обучения не влияет на поисковое ранжирование.
Google поддерживает правило Google-Extended и предоставляет в портале для веб-мастеров переключатель, позволяющий исключить контент из генеративных результатов поиска, а также отчёты о результатах поиска и сводках искусственного интеллекта. Microsoft в настоящее время предлагает управление с помощью тега NOARCHIVE и инструментов блокировки URL или удаления контента в Bing Webmaster Tools, но планирует добавить поддержку предпочтения отказа от обучения в robots.txt на уровне домена или сайта в начале 2027 года. До этого новая настройка Cloudflare не будет автоматически передавать это предпочтение Bing.
Что практически меняется для владельцев сайтов?
Большинству существующих клиентов не потребуется немедленных действий, поскольку Cloudflare перенесёт текущие настройки, сохранив их практический эффект. Однако тем, кто хочет полностью заблокировать Applebot, Bingbot или Googlebot, включая их доступ для поисковых целей, потребуется выбрать Block вместо Disallow AI Training. Для новых доменов Cloudflare будет предлагать предварительные настройки, различающиеся в зависимости от того, насколько сайт зависит от рекламы, поскольку блокировка трафика или его замена сгенерированным ответом может повлиять на модель монетизации.
Редакционный комментарий certi.news
Фактическое изменение здесь заключается не просто в добавлении правила в robots.txt, а в переходе от бинарного выбора к более детальной политике, связывающей личность робота с целью посещения. Это важно для издателей, которые хотят сохранить видимость в поиске, не предоставляя общего согласия на обучение моделей, однако не отменяет необходимости проверять, действительно ли каждый оператор соблюдает опубликованные предпочтения.
При этом сводки искусственного интеллекта остаются отдельным от обучения вопросом: сводка может сократить посещаемость сайта, но может направить меньшее число пользователей с более высокой готовностью к покупке. Поэтому Cloudflare планирует к началу следующего года предоставить более точный контроль над объёмом контента, отображаемого в сводках, с помощью централизованной настройки вместо управления предпочтением у каждого оператора отдельно. Также открытыми остаются вопросы совместимости стандартов, включая ai-prefs, и поведения агентов, действующих от имени людей.