关注最新报道、解读和相关科技故事。
Cloudflare推出一套系统，用于衡量已验证机器人是否遵守网站偏好，例如 robots.txt 和 HTTP 429 响应，而不只是验证其身份。该公司将把这些观察结果转化为信任范围，未来可用于决定是否允许自动化访问。
Meta计划于10月30日实施商业条款更新，允许其使用与商业账户相关的网站内容进行访问、索引、分析和训练，且没有明确的退出选项。尽管该公司表示，此次变更仅限于统一条款，并不会改变其抓取网络的方式，但法律专家警告称，这可能扩大其针对出版商和网络内容的权限。
Cloudflare 推出名为 Disallow AI Training 的新设置，允许网站所有者禁止将其内容用于训练人工智能模型，同时继续允许遵守透明度规范的机构旗下搜索爬虫访问。该计划涵盖 Apple、Google 和 Microsoft，同时对部分爬虫以及人工智能摘要控制仍存在专门限制。
Cloudflare宣布推出Bot Preference Sync，该功能会根据网站针对搜索、代理和训练机器人的设置自动更新robots.txt。该功能将向所有客户开放，从免费版到Enterprise版均可使用，同时保留禁用同步的选项。