Cloudflare在控制台中新增了用于应对网络上日益增长的受众的新工具:能够发现信息、比较选项并可能代表用户采取行动的人工智能代理。该公司将此前在Agent Readiness方面的工作与一款名为Answer Engine Optimization (AEO)的新工具结合起来,使网站所有者能够了解代理是否能够使用其网站,以及智能助手是否会向用户推荐这些网站。
Cloudflare表示,如今不到一半的HTML页面请求来自人类,其余请求来自机器,同时提醒称,并非所有这些请求都代表着代理在替人行事。该公司认为,可发现性不再只与出现在搜索结果页面中有关,而是还包括代理发现、读取、信任内容并随后推荐内容的能力。
Agent Readiness检查
Diagnostics部分代表Agent Readiness中的技术检查。它会按照代理可能读取网站的方式检查网站,确认代理是否被允许进入、是否能够发现内容,然后获取可供机器读取的版本,并查找可供其调用的接口。
检查内容包括robots.txt文件、XML站点地图、响应标头、内容的Markdown版本,以及已发布的认证和工具相关数据。结果会汇总为一项综合评估,等级从“尚未准备好”到“原生适用于代理”,并将每项检查标记为成功、失败或中立,同时附上说明其重要性的备注,以及展示所检查请求和响应的记录。
Cloudflare将建议的改进分为多个层级,包括快速基础项,例如可读取的robots.txt文件、XML sitemap文件、人工智能爬虫规则和干净的Markdown;技术基础项,例如Content Signals、API目录、链接标头和代理登录指令;以及高级集成,例如OAuth发现、MCP和A2A卡片、技能目录、Web Bot Auth和WebMCP。
该部分还展示了新兴的代理支付商业标准,包括x402、ACP、Universal Commerce Protocol和AP2。Cloudflare说明,这些信息目前仅供参考,不会计入评估结果。建议内容还包括后续步骤;对于Cloudflare支持的设置,会关联“在Cloudflare中设置”选项,而其他改进则可以复制一条提示词,用于建议编程代理需要执行的操作。
衡量智能助手的推荐
AEO部分关注以下问题:当客户向智能助手提出某个网站所属类别中的问题时,助手会推荐该网站还是竞争对手?Cloudflare会推断网站领域及其类别,然后测试两款主流助手,即Anthropic的Claude和OpenAI的GPT,使用模拟推荐问题、产品比较和一般建议的提示词。
该工具展示多项指标,包括Citation Rate,即答案引用该网站作为来源的比例;Prominence,用于衡量网站在答案中的出现程度及其出现位置;Mention Rate,用于说明品牌名称被提及的次数,无论网站是否被列为来源;以及Share of Voice,用于比较该网站的引用份额与竞争对手的引用份额。
在评估某个具体网站之前,Cloudflare会通过发送未指定特定品牌的提示词,为每个行业和类别建立基线,然后记录被引用的网站、它们的位置及其出现程度。该公司会在同一类别内重复使用这些数据进行计算,从而可以立即加载结果,并减少对模型的重复调用,同时也有助于提取Industry Fit score,以衡量网站与其实际竞争对手一同出现的程度。
活动数据和早期访问
为应对模型回答的差异,Cloudflare使用AI Gateway通过不同模型多次发送提示词,然后分析答案文本和被引用的来源。在需要基于判断进行评估时,它会使用Workers AI,同时采用直接文本分析,而不是让模型自行评估其输出。
该工具还展示人工智能运营商的活动,包括按运营商划分的抓取和引荐操作,例如OpenAI和Google,并显示请求遇到的错误,包括403和404。Cloudflare表示,这些数据使网站所有者能够重新检查,并衡量改动对为其带来业务的问题的影响。用户可以从控制台的Overview选项卡访问Agent Readiness,同时该公司也提供申请AEO Visibility早期访问的渠道。