Cloudflare 与 OpenAI 公布了一项联合研究试验的初步结果，旨在改进人工智能系统发现有用且持续变化的网页的方式。该试验于 2026 年 7 月开始，利用源自 Cloudflare 网络的信号，帮助 OpenAI 的搜索爬虫确定哪些页面值得检查，然后再投入额外资源下载和分析这些页面。
两家公司表示，这项试验仅限于相当于 Cloudflare 总网络约 1% 的参与样本，使 OpenAI 能够发现并索引数亿个新的网页。OpenAI 将这些页面作为可能向 ChatGPT 用户展示的来源，同时根据相关性和实用性，由其独立系统完成页面的最终评估和排序。
从改进曝光到改进发现
Cloudflare 认为，网站出现在传统搜索结果中，已不再是衡量其可发现性的唯一指标。当用户依靠人工智能系统获取答案或执行任务时，系统首先必须能够找到合适的页面，然后确定该页面是否包含原创、有用且可访问的信息。
例如，有些页面可能很少获得其他网站的链接，但在实际应用中仍然十分重要，例如特定设备的安装指南、更新后的护照要求，或餐厅菜单及营业时间。网络信号在这里充当反馈环节，帮助 OpenAI 将爬取资源引导至可能真正带来价值的页面。
减少无用爬取并提升安全性
试验表明，找到一个 URL 并不一定意味着存在适合索引的内容。对不存在的文件反复发出自动化请求，可能会使某个页面看起来值得关注；一些网站也可能将大量 URL 重定向到主页，或者让多个 URL 指向重复的内容版本。
在抓取页面之前发现这些模式，可以减少不必要的下载和网站负载。两家公司还在测试用于识别潜在有害页面的信号，例如攻击者在合法网站中植入的虚假登录页面。根据 Cloudflare 展示的早期结果，按页面进行评估可以隔离可疑内容并将其排除在索引之外，而不必惩罚整个域名。
对网站所有者而言，实际会发生什么变化？
并不意味着每个页面持续更新，爬虫就必须重新下载整个网站。与变化相关的信号可以帮助确定页面何时值得再次访问，同时过滤器可以阻止爬取不存在的页面或重定向到其他位置的页面。发现新页面起初可能会增加爬取量，但目标是在减少对未发生变化页面的重复工作的同时，保持索引更新。
Cloudflare 表示，下一阶段将重点改进页面选择，测试更快速、更可靠的变化检测信号，并衡量内容被发现后的结果。两家公司还将继续研究，改进发现是否能为网站所有者带来实际成效，例如增加访问量或触达感兴趣的受众。
试验限制：Cloudflare 强调，指向页面的信号并不代表获得访问该页面的许可；搜索使用的是有关网络的元数据，用于发现和索引，而不是共享页面内容来训练模型。域名所有者可以使用 Cloudflare 的 AI Crawl Control 工具，了解并管理人工智能系统对其网站的访问。