Cloudflare объявила о новой системе постоянной оценки поведения проверенных роботов — шаге, направленном на то, чтобы связать идентичность робота с практической историей, показывающей, насколько он соблюдает предпочтения сайтов. Компания считает, что одного знания о том, кто управляет роботом, недостаточно для оценки его надёжности: известный робот может игнорировать инструкции сайтов или продолжать отправлять запросы, несмотря на получение чётких сигналов о необходимости снизить активность.
Cloudflare использует термин Verified Bot для роботов, которые соответствуют трём основным условиям: точно и безопасно представляются, выполняют то, что заявляют, и не участвуют в злоупотреблениях. Идентификация осуществляется с помощью Web Bot Auth для подписывания запросов, тогда как BotBase индексирует эти идентичности в открытом формате. Новая система сосредоточена на втором и третьем условиях, отслеживая повторяющееся поведение вместо вынесения постоянного вердикта на основании единичного инцидента.
От идентичности к накопленному доверию
Cloudflare различает риск и доверие. Риск описывает вероятность того, что конкретный запрос окажется вредоносным в определённый момент, тогда как доверие формируется на основе повторяющегося и последовательного поведения. Компания будет преобразовывать поведенческие наблюдения в объяснимый «диапазон доверия», показывающий, насколько последовательно робот соблюдает предпочтения сайтов и какие факторы привели к такой оценке.
В качестве примера компания приводит удаление робота Perplexity из списка проверенных роботов в 2025 году после того, как он попытался получить доступ к ресурсам на сайтах, выбравших запрет на скрейпинг, а затем попытался обойти средства контроля, когда этим запросам было отказано.
Сигналы, которые отслеживает система
Первоначальная оценка сосредоточена на двух вопросах: соблюдает ли робот опубликованные инструкции и реагирует ли он на прямые сигналы сайта? Cloudflare считает файл robots.txt основным средством, с помощью которого сайты публикуют свои предпочтения в отношении сканирования. Поэтому система отслеживает, соответствует ли трафик робота этим предпочтениям с течением времени, уделяя внимание повторяющимся моделям, а не единичным нарушениям.
Компания поясняет, что robots.txt определяет минимальный набор правил, которым робот должен следовать, и не означает, что всё, что в нём не упомянуто, автоматически разрешено. Сайт может отправлять и другие сигналы, указывающие на нежелательность продолжения доступа.
Система также отслеживает реакцию робота на код HTTP 429, означающий «слишком много запросов» и требующий от посетителя снизить частоту запросов; он может также содержать период ожидания перед повторной попыткой. Робот, который замедляется или останавливается после получения этого сигнала, повышает свой диапазон доверия, тогда как неоднократное игнорирование сигнала приводит к снижению оценки.
Что меняется на практике?
Cloudflare сообщает, что в настоящее время система работает внутри компании и оценивает, насколько проверенные роботы соблюдают предпочтения сайтов. Компания планирует сделать её доступной для всех клиентов, предоставив им возможность определять требуемый уровень доверия при принятии решения о том, как обрабатывать трафик Verified Bot.
Система становится частью контура подотчётности, объединяющего её с Bot Preference Sync, который помогает владельцам сайтов публиковать свои предпочтения, и Bot Management, позволяющим им определять способ обработки автоматизированного трафика. На практике это добавляет поведенческий уровень к решению о разрешении доступа: сайт будет учитывать не только идентичность робота, но и сможет опираться на историю соблюдения им инструкций и реакции на сигналы о необходимости снизить нагрузку.
Однако Cloudflare пока не уточнила детали механизма расчёта диапазона доверия или сроки публичного запуска. Кроме того, система всё ещё находится на этапе формирования исторической записи и доработки метода преобразования наблюдений в рекомендации. Компания намерена в будущем публиковать эти оценки на Radar и расширять набор сигналов, учитываемых при оценке.