Cloudflare запустила функцию BotBase for Operators, чтобы предоставить операторам роботов более понятный способ добавлять своих роботов в каталог BotBase и отслеживать статус запросов после их отправки. Новая функция позволяет узнать, находится ли запрос на рассмотрении, принят или отклонён, а также увидеть причину отказа или любые изменения, внесённые Cloudflare в классификацию робота.
Этот шаг последовал за запуском Cloudflare доступного для поиска каталога известных роботов в панели управления, а также инструментов, помогающих владельцам сайтов понять, как поисковые роботы взаимодействуют с их контентом. Компания считает, что управление автоматическим трафиком зависит не только от решений владельцев сайтов: операторам роботов также необходимо идентифицировать себя, объяснять принцип работы и поддерживать точность своих данных.
Единое пространство для запросов на добавление
Ранее форма отправки данных о роботах находилась в разделе Manage Account → Configurations, из-за чего процесс был больше связан с учётной записью, чем с экосистемой роботов. Теперь доступ к BotBase for Operators осуществляется по пути Protect & Connect → Application Security → BotBase в панели Cloudflare, и компания заявляет, что получить к нему доступ могут все клиенты.
Интерфейс разделён на три основных части:
- Bots directory: просмотр, поиск и фильтрация роботов, отслеживаемых Cloudflare.
- Submission form: отправка запроса на добавление нового робота.
- Submission history: отслеживание запросов, отправленных учётной записью.
На странице истории запросов отображаются три основных статуса: Waiting for review — когда запрос получен и помещён в очередь на рассмотрение; Accepted — после одобрения робота и его добавления в каталог; и Rejected — когда запрос требует изменений. В последнем случае отображаются причина отказа и действия, необходимые для повторной отправки.
Изменение данных робота и описание его поведения
Теперь оператор может изменить ранее отправленный запрос вместо создания новой записи при изменении таких деталей, как конечная точка списка IP-адресов или переход от списка разрешённых IP-адресов к использованию подписи Web Bot Auth. Запрос также можно отменить, пока он ожидает рассмотрения. Cloudflare рекомендует поддерживать эти данные в актуальном состоянии, поскольку их точность влияет на получение роботом статуса Verified и его сохранение, при этом окончательное решение о разрешении трафика по-прежнему принимает каждый владелец сайта.
Новая форма добавления основана на представленной Cloudflare 1 июля модели поведения и использования контента, вместо того чтобы заставлять оператора выбирать одну категорию. Форма требует указать три аспекта:
- Что делает робот: например, индексирует страницы, действует от имени пользователя, собирает данные, обучает модели или поддерживает инструменты поисковой оптимизации.
- Как он использует прочитанный контент, с указанием уровня использования в соответствии с моделью Content Signals.
- Кто им управляет: непосредственный оператор, управляющий собственной инфраструктурой, или посредник, выполняющий запросы, исходящие от другого продукта или платформы.
Cloudflare поясняет, что робот, читающий страницу для создания поискового фрагмента, отличается от робота, сохраняющего страницу для обучения модели. В качестве примера компания приводит сигнал, который может включать Content-Signal: search=yes, ai-train=no, use=reference, разрешая индексацию для поиска и сохранение справочной информации, но не разрешая обучение искусственного интеллекта.
Что меняется на практике?
Cloudflare также переработала процесс рассмотрения, включив автоматические проверки, после того как с 2023 года количество новых запросов в год выросло примерно в семь раз. Системы проверяют вероятность дублирования робота, уникальность шаблона пользовательского агента и корректность заявленного способа верификации. Они могут загрузить список IP-адресов, проверить обратную систему доменных имён или проверить подпись Web Bot Auth. Если запрос требует участия человека, он передаётся команде с указанием причины проверки, а не помещается в неопределённую очередь.
Это обновление превращает BotBase из каталога, ориентированного главным образом на владельцев сайтов, в пространство, включающее также операторов роботов. Однако текущий запуск сосредоточен только на видимости; заявление права собственности на запись и управление ею, а также понимание того, как сайты с ней взаимодействуют, запланированы на более поздний срок, тогда как идея создания канала диалога между операторами и владельцами сайтов остаётся более отдалённой целью. Поэтому BotBase не отменяет индивидуальные решения сайтов, а предоставляет более структурированную информацию, на которую эти решения могут опираться.