Унификация стандартов защиты цифрового контента
Компании Google, OpenAI, Anthropic и Microsoft объявили о своем обязательстве поддерживать новую директиву в файле "robots.txt" — техническом стандарте, который владельцы сайтов используют для управления взаимодействием веб-краулеров с их контентом. Эта инициатива направлена на предоставление издателям единого и эффективного способа предотвращения сбора (scraping) данных компаниями в сфере ИИ и их использования для обучения генеративных моделей.
Новое предложение, разработанное Кевином Келли (Kevin Kelley), техническим руководителем по стандартам в Anthropic, в настоящее время находится на рассмотрении в организации "IETF", ответственной за разработку открытых интернет-стандартов. Этот шаг направлен на решение технической проблемы, с которой сталкиваются владельцы сайтов, вынужденные в настоящее время устанавливать отдельные правила для каждой компании в сфере ИИ.
Как работает новый стандарт?
Вместо того чтобы взаимодействовать с каждой компанией по отдельности, новый стандарт позволит издателям использовать единый сигнал (User-Agent), предназначенный для обучения ИИ, который в файле robots.txt будет выглядеть следующим образом:
- User-Agent: __usage_ai-training
- Disallow: /
Это дополнение позволяет сайтам коллективно блокировать краулеров, предназначенных для сбора обучающих данных, с возможностью исключения определенных частей сайта (например, пресс-материалов) с помощью команды "Allow". Важно отметить, что эта мера не мешает поисковым системам индексировать сайт или отображать его в результатах поиска; ее действие ограничивается только запретом на использование контента в процессах обучения моделей. Например, Google будет интерпретировать этот сигнал как команду остановки для краулера "Google-Extended", отвечающего за сбор материалов для обучения моделей Gemini.
Что изменится на практике?
Это обязательство знаменует переход от «технического хаоса» к «единой организации». Вместо того чтобы издателям приходилось следовать за каждой технологической компанией с отдельным протоколом, они смогут отправлять один сигнал, понятный всем, что снизит техническую нагрузку и обеспечит более точный контроль над цифровыми активами. Однако существует существенное ограничение, на которое следует обратить внимание: этот стандарт не имеет обратной силы, то есть он не предотвратит использование данных, которые уже были собраны в прошлом, а будет работать только как барьер для нового контента в будущем.
График внедрения
Компании различаются по скорости принятия этого стандарта: компания Anthropic уже начала его поддерживать, в то время как OpenAI обязалась внедрить его в течение ближайших нескольких месяцев. Что касается Google и Microsoft, то ожидается, что их фактическая поддержка начнется в начале 2027 года; при этом Microsoft установила дату 1 февраля 2027 года как срок начала поддержки.