Cloudflare заявляет, что интернет больше не обслуживает единственную человеческую аудиторию. Если раньше сайты рассчитывали на посетителей, которые читали контент, смотрели рекламу и оплачивали подписки, то теперь вторую, быстро растущую аудиторию составляют программы, действующие от имени пользователей. Согласно данным компании, среднее число HTTP-запросов, обрабатываемых сетью, выросло с 63 миллионов запросов в секунду на конец 2024 года примерно до 115 миллионов сейчас, а пиковые значения превышают 150 миллионов запросов, тогда как число ежедневных запросов от ИИ-агентов за год увеличилось более чем на 1700%.
Cloudflare добавляет, что впервые в этом году более половины интернет-трафика не являлось человеческим. Однако компания различает три разных типа автоматизированного трафика: поисковые роботы, роботы для обучения моделей и агенты, которые получают информацию или выполняют действие по запросу человека. Это различие важно, поскольку блокировка агента, бронирующего столик или сравнивающего страховые предложения, может означать блокировку стоящего за ним человека-клиента, тогда как робот для обучения может потреблять контент, не направляя посетителей и не принося прямого дохода.
От посещений к платному использованию
Cloudflare считает, что традиционная модель веба нарушена из-за систем ответов, которые обобщают страницы сайтов, не направляя к ним читателя. В результате сайты несут расходы на пропускную способность, вычисления и мощности исходных серверов, не обязательно получая просмотр рекламы, подписку или переход. Компания заявляет, что человеческий трафик в некоторых секторах, таких как розничная торговля, программное обеспечение, ИТ-услуги и финансовые услуги, сократился на величину до 40% менее чем за год.
Поэтому Cloudflare представила две экспериментальные модели монетизации. Первая — Pay Per Use, позволяющая издателю добровольно участвовать и получать оплату, когда его контент фактически используется, вместо оплаты лишь за сам факт его сканирования. Компания заявляет, что покупатель определяет, что считать использованием, и его стоимость, а издатель получает отчёты об использованном контенте, времени использования и доходе, а также может получать данные о вопросах, в ответах на которые отображался его материал.
Вторая — Monetization Gateway — предназначена для сервисов, данных, API и инструментов, которые можно тарифицировать за запрос, обращение или токен. В закрытом тестировании, доступном квалифицированным клиентам в США, правила могут возвращать HTTP-ответ 402 Payment Required с использованием открытого протокола x402, чтобы агент напрямую платил продавцу. Cloudflare заявляет, что её AI Gateway использует эту систему для оплаты расходов на инференс, что делает компанию одним из первых пользователей технологии.
Видимость агентов и определение условий их работы
Компания предлагает такие инструменты, как AI Crawl Control, Business Insights и BotBase, чтобы показывать, кто сканирует сайт и какие URL запрашивает. Кроме того, Web Bot Auth позволяет криптографически подписывать запросы агентов; Cloudflare заявляет, что еженедельно через её сеть проходит более 500 миллиардов аутентифицированных запросов роботов. В июле компания заменила единый переключатель блокировки ИИ-роботов отдельными элементами управления для поиска, агентов и обучения, доступными на всех тарифах, включая бесплатные.
15 сентября Cloudflare запустила опцию Disallow AI Training, позволяющую сохранять возможность индексации сайта в поиске, одновременно указывая оператору не использовать данные для обучения. Компания заявляет, что Apple, Google и Microsoft согласились уважать эту настройку, а Cloudflare Radar публично отслеживает поведение роботов. Компания также предлагает Markdown for Agents, чтобы сокращать число ненужных визуальных элементов для агентов, и WebMCP, чтобы отображать действия напрямую, вместо того чтобы заставлять агента угадывать кнопки и интерфейсы.
Почему это развитие важно?
Фактическое изменение заключается не просто в росте числа роботов, а в переходе агента от потребителя контента к стороне, которая может приобрести услугу или выполнить транзакцию. Это заставляет владельцев сайтов знать личность автоматизированного посетителя, различать его цель, устанавливать разные условия для поиска, обучения и коммерческого использования, а затем измерять стоимость и производить финансовые расчёты.
Тем не менее Cloudflare представляет эти модели как экспериментальные ставки, а не как устоявшийся стандарт. Определение «использования» различается для поисковой системы, ссылающейся на источник, исследовательского агента, цитирующего абзац, и торгового агента, совершающего покупку. Ценообразование и обнаружение также ещё не определены, и материал не объясняет, как будут проверяться отчёты об использовании или разрешаться споры о стоимости и платежах. Открытым остаётся и вопрос концентрации инфраструктуры: Cloudflare призывает к таким стандартам, как x402 и Web Bot Auth, но при этом остаётся поставщиком значительной части инструментов видимости, идентификации и взыскания платежей.
Компания заявляет, что более 20% веба находится за её сетью, а около 80% ведущих ИИ-компаний используют её. Она рассчитывает стать общим уровнем для управления идентификацией, измерения, ценообразования и расчётов, оставляя окончательное решение владельцам доменов. Успех этой концепции будет зависеть от того, согласятся ли агенты и издатели принять эти открытые механизмы, а также от способности рынка превратить автоматизированные посещения из неоплачиваемых затрат в использование, которое можно измерять и тарифицировать.