Cloudflare宣布推出一套持续评估已验证机器人行为的新系统,旨在将机器人的身份与一份实际记录联系起来,以说明其在多大程度上遵守网站偏好。该公司认为,仅了解运行机器人的实体并不足以判断其可信度,因为一个知名机器人可能会忽视网站指令,或在收到明确的减缓活动信号后仍继续发送请求。
Cloudflare使用 Verified Bot 一词指代满足三个基本条件的机器人:准确且安全地表明自身身份,执行其声称会执行的操作,以及不参与滥用行为。身份识别过程依靠 Web Bot Auth 对请求进行签名,而 BotBase 则以开放格式为这些身份建立索引。新系统关注第二和第三项条件,通过监测重复出现的行为进行评估,而不是根据单一事件作出永久判断。
从身份到累积信任
Cloudflare区分风险与信任。风险描述的是某个请求在特定时刻可能造成危害的概率,而信任则通过重复且一致的行为建立。该公司将把行为观察结果转化为可解释的“信任范围”,说明机器人遵守网站偏好的规律程度,以及导致该评估的因素。
该公司引用的例子之一是:2025年,在 Perplexity 机器人试图访问选择不允许抓取的网站资源,随后又在这些请求遭到阻止时试图绕过控制措施后,Cloudflare将其从已验证机器人列表中移除。
系统监测的信号
初步评估集中于两个问题:机器人是否遵守已发布的指令?是否响应网站的直接反馈?Cloudflare认为,robots.txt 文件是网站发布其爬取偏好的主要方式。因此,系统会随着时间推移监测机器人的流量是否符合这些偏好,重点关注反复出现的模式,而不是孤立的违规行为。
该公司解释说,robots.txt规定了机器人应遵守的最低规则,并不意味着其中未提及的所有行为都会自动被允许。网站可能会发送其他信号,表明不希望继续访问。
系统还会监测机器人对 HTTP 429 状态码的响应。该状态码表示“请求过多”,要求访问者降低请求速率,并可能包含再次尝试前的等待时长。收到这一信号后减速或停止的机器人,其信任范围会得到增强;而反复忽略该信号则会导致评估降低。
实际会发生什么变化?
Cloudflare表示,该系统目前正在内部运行,用于评估已验证机器人对网站偏好的遵守程度。该公司计划向所有客户开放这一系统,并允许客户在决定如何处理 Verified Bot 流量时设定所需的信任级别。
该系统属于一个问责闭环的一部分,与 Bot Preference Sync 及 Bot Management 相结合。Bot Preference Sync 可帮助网站所有者发布其偏好,Bot Management 则允许他们确定如何处理自动化流量。实际而言,这为允许访问的决定增加了行为层:网站不再只依赖机器人的身份,还可以依据其遵守指令以及响应压力信号的记录作出判断。
不过,Cloudflare尚未明确说明信任范围的计算机制详情或公开上线时间;该系统仍处于建立历史记录并完善将观察结果转化为指导方式的阶段。该公司计划未来在 Radar 上发布这些评分,并扩大纳入评估的信号范围。