Cloudflare认为,人工智能代理正在改变网络的性质,它们不仅是一种新型软件,也是一种代表个人或企业浏览网络的新型访客。该公司表示,许多由规范机器人产生的流量会反复获取未发生变化的页面,形成数十亿次请求,消耗计算资源,却没有明确结果。
Cloudflare将围绕这类访客形成的网络称为“代理互联网”Agentic Internet。在其设想中,这一互联网应当可被读取、发现、执行和支付,并依靠开放的工具与协议,让域名所有者和代理能够合作,而不是相互冲突。
阻止代理可能意味着阻止客户
代理不同于传统浏览器:它不会渲染 CSS,不会查看主图,也不会点击广告。但它代表一个为其服务付费的人运行,这使每个请求都与目标和金钱成本相关。按照 Cloudflare 的说法,如果将这些请求视为传统的抓取操作,可能会损失客户,而不仅仅是阻止有害来源。
该公司警告称,当前网络及与之相关的分析工具和商业模式,并不是为这一现实设计的。它认为,代理读取、发现、调用内容并支付内容费用的方式,将影响互联网是继续保持开放,还是由一小部分掌握发现、身份和支付能力的平台控制。
代理互联网的四大支柱
Cloudflare表示,其愿景依赖任何机构都可以实施的开放标准,其中包括 x402、MCP、Web Bot Auth 和 PACT。该公司强调,域名所有者可以选择适合自己的身份服务提供商、支付处理商和代理合作伙伴,而 Cloudflare 只是这一生态中的一个选项,并非整个生态。
读取:Web Bot Auth 允许机器人在网站面前以加密方式证明自己的身份,帮助网站所有者确定希望接收哪些代理,而不是依赖容易伪造的 User-Agent。该公司还提到“私有访问控制令牌”PACT,这是与 Mozilla、Google、Microsoft 和 Shopify 合作宣布的机制,允许网站以匿名方式为代理提供背书。
Cloudflare还提出了 Markdown for Agents,以一种减少令牌消耗和带宽使用的方式呈现网站内容。Kitesurf 则是一款新浏览器,该公司称其轻量到足以运行在 Workers 上,每次请求启动后即予以销毁,并为代理提供所需的内容和功能,而不包含面向人类用户的浏览器特性。
发现:该公司认为,访问资源始于知道资源存在。它表示,AI Search 目前已经可用,因此任何公共网站都可以被代理搜索。该公司还提到 Agent Engine Optimization 或 AEO,用于衡量品牌在重要模型和代理中的曝光度;如果网站对客户使用的代理不可见,那么它实际上可能对这些客户不可见。
执行:WebMCP 允许网站直接在浏览器中向代理展示其操作。代理不必分析 HTML 并猜测字段和按钮,而是可以使用清晰的工具“契约”,同时利用用户会话及其当前状态。Cloudflare表示,Code Mode 更进一步,允许代理通过编写代码调用工具,并更清楚地指示实际使用过的内容。
支付:Cloudflare认为,以席位为基础的广告和订阅模式并不总是适合软件这一用户。该公司建议代理按每次互动付费,例如获取食谱、授权文章或使用应用程序接口。它表示,每笔付费交易都会留下收据,证明哪个代理获取了页面以及为此支付了什么费用;而 Monetization Gateway 允许域名所有者通过几个步骤设置来自代理的支付。
区分受欢迎的代理与有害代理
Cloudflare认为,将机器人视为坏的、人类视为好的传统二元划分已不再足够。当代理以节约资源的方式读取内容、按照既定规则与网站互动并为所使用的内容付费时,它可能是受欢迎的。而当代理在没有补偿的情况下收集数百万个页面、试图绕过封锁或忽视 robots.txt 时,它可能是有害的。
该公司建议为域名所有者提供工具,以便选择希望支持的代理。开发者可能希望让其服务更容易被发现并获得付费,而出版商可能会屏蔽无偿消耗内容的代理,同时允许为内容授权或提供补偿的代理访问。非营利数据提供商也可能允许用户在支付一笔足以覆盖额外资源消耗的费用后使用其服务。
最后,Cloudflare将这一构想描述为一种开放的替代方案,其基础设施不由任何一家企业单独拥有。该公司邀请网站和代理所有者通过面向代理的网站设置面板和 AI Playground 体验新的互联网技术,并注册以获取 Answer Engine Optimization 产品的最新消息。