Cloudflare считает, что ИИ-агенты меняют природу веба не только как новый тип программного обеспечения, но и как новый тип посетителей, которые просматривают сайты от имени людей или компаний. Компания утверждает, что значительная часть трафика, создаваемого добросовестными ботами, повторно загружает страницы, которые не изменились, создавая миллиарды запросов, потребляющих вычислительные ресурсы без очевидного результата.
Cloudflare называет веб, формирующийся вокруг такого типа посетителей, «агентским интернетом» — Agentic Internet. По замыслу компании, этот интернет должен быть доступен для чтения, обнаружения, выполнения и оплаты и опираться на открытые инструменты и протоколы, позволяющие владельцам доменов и агентам сотрудничать, а не конфликтовать.
Блокировка агентов может означать блокировку клиентов
Агент отличается от обычного браузера: он не отображает CSS, не видит основные изображения и не нажимает на рекламу. Однако он действует от имени человека, который платит за его услуги, поэтому каждый запрос связан с целью и финансовыми затратами. Согласно позиции Cloudflare, рассмотрение таких запросов как традиционного скрейпинга может привести к потере клиента, а не только к остановке вредоносного источника.
Компания предупреждает, что нынешний веб, а также связанные с ним инструменты аналитики и бизнес-модели не были рассчитаны на эту реальность. По её мнению, способ чтения, обнаружения, вызова и оплаты контента агентами повлияет на то, останется ли интернет открытым или контроль над ним перейдёт к ограниченному числу платформ, владеющих механизмами обнаружения, идентификации и платежей.
Четыре опоры агентского интернета
Cloudflare утверждает, что её видение основано на открытых стандартах, которые может реализовать любая организация, включая x402, MCP, Web Bot Auth и PACT. Компания подчёркивает, что владельцы доменов сами выбирают подходящих им поставщиков идентификации, платёжных операторов и партнёров среди агентов, а Cloudflare является одним из вариантов в экосистеме, но не всей экосистемой.
Чтение: Web Bot Auth позволяет боту криптографически идентифицировать себя перед сайтами, помогая владельцам определять агентов, которых они хотят принимать, вместо использования подделываемого User-Agent. Компания также упоминает «токены контроля доступа к приватным ресурсам» PACT, о которых было объявлено совместно с Mozilla, Google, Microsoft и Shopify; они позволяют сайтам анонимно рекомендовать агентов.
Cloudflare также предлагает Markdown for Agents для представления содержимого сайтов в формате, который снижает расход токенов и пропускной способности. Kitesurf — это новый браузер, который компания описывает как достаточно лёгкий для работы на Workers: он запускается для каждого запроса, а затем уничтожается, предоставляя агентам необходимый контент и функции без возможностей браузеров, ориентированных на людей.
Обнаружение: компания считает, что доступ к ресурсам начинается с понимания того, что они существуют. По её словам, AI Search уже доступен и позволяет сделать любой общедоступный сайт доступным для поиска агентами. Компания также упоминает Agent Engine Optimization, или AEO, для измерения видимости брендов в важных моделях и агентах: если сайт не виден агентам, которыми пользуются клиенты, он может фактически быть невидимым для них.
Выполнение: WebMCP позволяет сайту напрямую предоставлять агентам свои действия внутри браузера. Вместо анализа HTML и угадывания назначения полей и кнопок агент может использовать понятный «контракт» инструмента, сохраняя доступ к текущей пользовательской сессии и её состоянию. Cloudflare утверждает, что Code Mode делает ещё один шаг вперёд, позволяя агентам вызывать инструменты посредством написания кода и обеспечивая более чёткое указание на контент, который фактически был использован.
Оплата: Cloudflare считает, что рекламные модели и подписки, основанные на количестве мест, не всегда подходят пользователю, являющемуся программой. Компания предлагает, чтобы агент платил за каждое взаимодействие — например, за получение рецепта, лицензирование статьи или использование API. По её словам, каждая оплаченная операция оставляет квитанцию, подтверждающую, какой агент загрузил страницу и за что была произведена оплата, а Monetization Gateway позволяет владельцам доменов настроить приём платежей от агентов за несколько шагов.
Отличие желательных агентов от вредоносных
Cloudflare считает, что традиционная дихотомия, согласно которой боты плохие, а люди хорошие, больше не достаточна. Агент может быть желательным, если он читает контент, сохраняя ресурсы, взаимодействует с сайтом в соответствии с установленными правилами и платит за используемые материалы. Он может быть вредоносным, если собирает миллионы страниц без компенсации, пытается обойти блокировку или игнорирует robots.txt.
Компания предлагает предоставить владельцам доменов инструменты для выбора агентов, которых они хотят поддерживать. Разработчик может захотеть упростить обнаружение своей службы и оплату за неё, тогда как издатель может заблокировать агентов, потребляющих контент бесплатно, и разрешить доступ тем, кто его лицензирует или компенсирует. Некоммерческий поставщик данных также может разрешить использование своих услуг после уплаты сбора, покрывающего избыточное потребление ресурсов.
В итоге Cloudflare представляет эту концепцию как открытую альтернативу, инфраструктурой которой не владеет одна компания. Компания призывает владельцев сайтов и агентов опробовать новые интернет-технологии через панель настройки сайтов, готовых к работе с агентами, и AI Playground, а также зарегистрироваться для получения новостей о продукте Answer Engine Optimization.