机器人与自动化

Cloudflare推出随时间监测已验证机器人行为的系统

Cloudflare推出一套系统,用于衡量已验证机器人是否遵守网站偏好,例如 robots.txt 和 HTTP 429 响应,而不只是验证其身份。该公司将把这些观察结果转化为信任范围,未来可用于决定是否允许自动化访问。

2026-10-16
1 分钟阅读
33 浏览量
certi.news Editorial Team
Cloudflare推出随时间监测已验证机器人行为的系统

Cloudflare宣布推出一套持续评估已验证机器人行为的新系统,旨在将机器人的身份与一份实际记录联系起来,以说明其在多大程度上遵守网站偏好。该公司认为,仅了解运行机器人的实体并不足以判断其可信度,因为一个知名机器人可能会忽视网站指令,或在收到明确的减缓活动信号后仍继续发送请求。

Cloudflare使用 Verified Bot 一词指代满足三个基本条件的机器人:准确且安全地表明自身身份,执行其声称会执行的操作,以及不参与滥用行为。身份识别过程依靠 Web Bot Auth 对请求进行签名,而 BotBase 则以开放格式为这些身份建立索引。新系统关注第二和第三项条件,通过监测重复出现的行为进行评估,而不是根据单一事件作出永久判断。

从身份到累积信任

Cloudflare区分风险与信任。风险描述的是某个请求在特定时刻可能造成危害的概率,而信任则通过重复且一致的行为建立。该公司将把行为观察结果转化为可解释的“信任范围”,说明机器人遵守网站偏好的规律程度,以及导致该评估的因素。

Advertisement

该公司引用的例子之一是:2025年,在 Perplexity 机器人试图访问选择不允许抓取的网站资源,随后又在这些请求遭到阻止时试图绕过控制措施后,Cloudflare将其从已验证机器人列表中移除。

系统监测的信号

初步评估集中于两个问题:机器人是否遵守已发布的指令?是否响应网站的直接反馈?Cloudflare认为,robots.txt 文件是网站发布其爬取偏好的主要方式。因此,系统会随着时间推移监测机器人的流量是否符合这些偏好,重点关注反复出现的模式,而不是孤立的违规行为。

该公司解释说,robots.txt规定了机器人应遵守的最低规则,并不意味着其中未提及的所有行为都会自动被允许。网站可能会发送其他信号,表明不希望继续访问。

系统还会监测机器人对 HTTP 429 状态码的响应。该状态码表示“请求过多”,要求访问者降低请求速率,并可能包含再次尝试前的等待时长。收到这一信号后减速或停止的机器人,其信任范围会得到增强;而反复忽略该信号则会导致评估降低。

实际会发生什么变化?

Cloudflare表示,该系统目前正在内部运行,用于评估已验证机器人对网站偏好的遵守程度。该公司计划向所有客户开放这一系统,并允许客户在决定如何处理 Verified Bot 流量时设定所需的信任级别。

该系统属于一个问责闭环的一部分,与 Bot Preference Sync 及 Bot Management 相结合。Bot Preference Sync 可帮助网站所有者发布其偏好,Bot Management 则允许他们确定如何处理自动化流量。实际而言,这为允许访问的决定增加了行为层:网站不再只依赖机器人的身份,还可以依据其遵守指令以及响应压力信号的记录作出判断。

不过,Cloudflare尚未明确说明信任范围的计算机制详情或公开上线时间;该系统仍处于建立历史记录并完善将观察结果转化为指导方式的阶段。该公司计划未来在 Radar 上发布这些评分,并扩大纳入评估的信号范围。

新闻来源
Cloudflare Blog
查看原始来源 ↗
c
作者

certi.news Editorial Team

你需要知道的

Cloudflare推出了一套会随时间监测已验证机器人行为的系统,重点关注机器人是否遵守robots.txt以及是否响应HTTP 429状态码,而不只是验证身份。该系统目前仅供内部使用,公司计划日后向客户开放,但尚未确定时间或信任范围的计算细节。

  • Cloudflare将已验证机器人定义为能够准确表明自身身份、遵守其声明且不从事滥用行为的机器人。
  • 该系统依靠监测机器人的重复行为,而不是依据单一事件进行判断。
  • 系统会监测机器人是否遵守robots.txt,以及是否响应要求降低请求速率的HTTP 429状态码。
  • Cloudflare会将行为观察结果转化为可解释的信任范围,未来可用于自动化流量的放行决策。
  • 该系统目前仅供内部使用,Cloudflare计划向所有客户开放,但尚未确定公开提供的时间。
  • 该系统与Bot Preference Sync和Bot Management服务相关联,未来计划在Radar上发布相关评分。

常见问题

Cloudflare的新系统监测什么?

它会监测已验证机器人是否遵守robots.txt指令,以及是否响应网站发出的信号,尤其是要求降低请求速率的HTTP 429状态码。

机器人评估是否仅依据其身份?

不是。该系统在身份验证之外加入了累积的行为记录,使机器人持续遵守网站偏好的情况能够影响其信任范围。

该系统何时会向客户开放?

Cloudflare表示计划向所有客户开放,但尚未确定公开提供的时间。

同一分类

你可能还喜欢

查看所有新闻