Cloudflare表示，互联网不再只服务于单一的人类受众。过去，网站依赖阅读内容、观看广告和支付订阅费用的访客；如今，代表用户行事的软件正迅速成为第二类受众。根据该公司的数据，其网络处理的平均HTTP请求量已从2024年底的每秒6300万次增至目前约1.15亿次，峰值超过1.5亿次；与此同时，人工智能代理每天发出的请求量在一年内增长了1700%以上。
Cloudflare补充说，今年互联网流量首次有超过一半不是由人类产生的。但该公司区分了三种不同类型的自动化流量：搜索爬虫、模型训练爬虫，以及应个人要求获取信息或执行操作的代理。这一区分很重要，因为阻止一个预订餐桌或比较保险报价的代理，可能意味着阻止其背后的人类客户；而训练爬虫则可能消耗内容，却不会带来访客引流或直接收入。
从访问转向付费使用
Cloudflare认为，传统网页模式已因答案引擎在不将读者导向网站的情况下总结网页内容而失衡。因此，网站承担了带宽、计算能力和源站服务器容量的成本，却未必能获得广告展示、订阅或引流。该公司表示，在不到一年的时间里，零售、软件、信息技术服务和金融服务等部分行业的人类流量下降了最高达40%。
因此，Cloudflare推出了两种试验性变现模式。第一种是Pay Per Use，允许出版商选择参与，并在其内容实际被使用时获得报酬，而不是仅仅因为内容被爬取就获得支付。该公司表示，买方可以确定什么算作使用以及这种使用的价值；出版商则可获得有关所用内容、使用时间和收益的报告，也可能获得显示其内容的问题数据。
第二种是Monetization Gateway，面向可按每次请求、查询或令牌定价的服务、数据、应用程序编程接口和工具。在面向美国符合条件客户的封闭测试中，规则可以使用开放的x402协议返回HTTP 402 Payment Required响应，让代理直接向卖方付款。Cloudflare表示，其AI Gateway使用该系统支付推理成本，使该公司成为这一技术的早期用户。
代理可见性与条件设定
该公司提供AI Crawl Control、Business Insights和BotBase等工具，用于展示哪些实体正在抓取网站以及它们请求了哪些地址。Web Bot Auth还支持对代理请求进行加密签名；Cloudflare表示，其网络每周传输超过5000亿次经过验证的机器人请求。7月，该公司将用于阻止人工智能机器人的单一开关替换为针对搜索、代理和训练的独立控制项，并将其提供给包括免费方案在内的所有方案。
9月15日，Cloudflare推出Disallow AI Training选项，使网站可以继续被搜索引擎编入索引，同时指示运营方不要将数据用于训练。该公司表示，Apple、Google和Microsoft已承诺尊重这一选项，而Cloudflare Radar则公开追踪爬虫行为。该公司还提供Markdown for Agents，以减少对代理而言不必要的视觉元素；并提供WebMCP，以便直接展示操作，而不是迫使代理猜测按钮和界面。
为什么这一发展很重要？
真正的变化不仅是机器人数量增加，而是代理从内容消费者转变为能够购买服务或执行交易的一方。这要求网站所有者了解自动化访客的身份，区分其目的，为搜索、训练和商业使用设定不同条件，并进一步衡量价值和进行财务结算。
不过，Cloudflare将这些模式描述为试验性押注，而不是稳定的标准。因为“使用”的定义会因引用来源的搜索引擎、引用一段文字的搜索代理，以及完成购买的购物代理而不同。定价和检测也尚未确定，文章没有说明将如何审查使用报告，或如何解决围绕价值和付款产生的争议。基础设施集中化问题同样仍未解决：Cloudflare呼吁采用x402和Web Bot Auth等标准，但它仍是提供大量可见性、身份识别和收费工具的一方。
该公司表示，超过20%的互联网位于其网络之后，约80%的领先人工智能公司使用其服务。它押注自己能够成为管理身份、计量、定价和结算的共享层，同时将最终决定权留给域名所有者。这一构想能否成功，将取决于代理和出版商是否接受这些开放机制，以及市场能否把未付费的自动化访问转变为可衡量、可定价的使用。