Следите за последними материалами, объяснениями и связанными технологическими историями.
Cloudflare представляет систему, которая измеряет, соблюдают ли проверенные роботы предпочтения сайтов, такие как robots.txt и ответы HTTP 429, вместо того чтобы ограничиваться проверкой их идентичности. В будущем компания будет преобразовывать эти наблюдения в диапазон доверия, который можно будет использовать для принятия решений о разрешении автоматизированных посещений.
Cloudflare добавила в BotBase специальное пространство для операторов роботов, позволяющее отслеживать, изменять и отменять запросы на добавление, а также форму с описанием поведения робота и использования им контента. Компания также переработала процесс проверки, включив автоматические проверки, которые могут ускорить одобрение запросов.
Cloudflare считает, что ИИ-агенты стали новым типом посетителей веб-сайтов, и обращение с ними как с обычными ботами может привести к блокировке клиентов вместо блокировки вредоносного трафика. Компания предлагает создать открытый агентский интернет, основанный на инструментах и стандартах, которые делают контент доступным для чтения, обнаружения, выполнения и оплаты.