统一数字内容保护标准
Google、OpenAI、Anthropic 和 Microsoft 宣布承诺支持 "robots.txt" 文件中的一项新指令。robots.txt 是网站所有者用于管理网络爬虫与其内容交互方式的技术标准。这一举措旨在为出版商提供一种统一且有效的方法，以防止人工智能公司抓取 (Scraping) 其数据并将其用于生成式模型的训练。
这项新提案由 Anthropic 的标准技术负责人 Kevin Kelley 起草，目前正由负责制定开放互联网标准的 "IETF" 组织进行研究。此举旨在解决网站所有者面临的技术问题，即目前他们不得不为每家人工智能公司分别设定规则。
新标准如何运作？
新标准将允许出版商使用专门针对人工智能训练的统一指令 (User-Agent)，而不是分别处理每家公司。该指令在 robots.txt 文件中显示如下：
- User-Agent: __usage_ai-training
- Disallow: /
此项新增内容允许网站集体屏蔽专门用于收集训练数据的爬虫，同时可以通过 "Allow" 命令排除网站的特定部分（例如新闻文件）。需要注意的是，此举并不会阻止搜索引擎对网站进行索引或使其出现在搜索结果中；其影响仅限于防止内容被用于模型训练过程。例如，Google 将把此指令视为停止 "Google-Extended" 爬虫的信号，该爬虫负责收集材料以训练 Gemini 模型。
实际会发生什么变化？
这一承诺代表了从 "技术混乱" 向 "统一规范" 的转变。出版商无需再为每家科技公司制定专门的协议，而是可以发送一个所有人都能理解的统一信号，从而减轻技术负担并实现对数字资产更精确的控制。然而，有一个基本限制需要注意：该标准不具有追溯力，也就是说，它不会阻止公司使用过去已经抓取的数据，而仅作为未来新内容的屏障。
实施时间表
各公司采用该标准的进度有所不同；Anthropic 已经开始支持该标准，而 OpenAI 承诺在未来几个月内实施。至于 Google 和 Microsoft，预计其正式支持将于 2027 年初开始，Microsoft 已将 2027 年 2 月 1 日定为开始支持的日期。