Cloudflare и OpenAI раскрыли предварительные результаты совместного исследовательского эксперимента, направленного на улучшение способов, с помощью которых системы искусственного интеллекта обнаруживают полезные и постоянно меняющиеся веб-страницы. Эксперимент начался в июле 2026 года и основывался на сигналах, получаемых из сети Cloudflare, чтобы помочь поисковому краулеру OpenAI определять страницы, заслуживающие проверки, до того как на их загрузку и анализ будут затрачены дополнительные ресурсы.
По словам компаний, эксперимент, ограниченный участвующей выборкой, соответствующей примерно 1% всей сети Cloudflare, позволил OpenAI обнаружить и проиндексировать сотни миллионов новых веб-страниц. OpenAI использует эти страницы как источники, которые могут отображаться пользователям ChatGPT, при этом окончательная оценка и ранжирование страниц остаются в независимых системах компании и зависят от релевантности и полезности.
От улучшения видимости к улучшению обнаружения
Cloudflare считает, что появление сайта в традиционных результатах поиска больше не является единственным показателем его доступности для обнаружения. Когда пользователь полагается на систему искусственного интеллекта для получения ответа или выполнения задачи, система должна сначала найти подходящую страницу, а затем определить, содержит ли она оригинальную, полезную и доступную информацию.
К таким примерам относятся страницы, которые могут не получать много ссылок с других сайтов, но при этом оставаться практически важными: например, руководство по установке конкретного устройства, актуальные требования к паспорту или меню ресторана и часы его работы. В этом случае сетевые сигналы служат каналом обратной связи, помогая OpenAI направлять ресурсы краулинга на страницы, которые, вероятно, действительно принесут пользу.
Сокращение бесполезного краулинга и повышение безопасности
Эксперимент показал, что обнаружение URL не обязательно означает наличие контента, пригодного для индексации. Повторяющиеся автоматизированные запросы к несуществующим файлам могут сделать страницу интересной, а некоторые сайты могут перенаправлять множество URL на главную страницу или направлять несколько адресов на дублирующиеся версии контента.
Обнаружение таких закономерностей до загрузки страницы может сократить ненужные загрузки и нагрузку на сайты. Компании также тестируют сигналы для выявления потенциально вредоносных страниц, например поддельной страницы входа, размещённой злоумышленником внутри легитимного сайта. Вместо наказания всего домена оценка на уровне отдельной страницы позволяет изолировать подозрительный контент и исключить его из индекса, согласно представленным Cloudflare предварительным результатам.
Что практически меняется для владельцев сайтов?
Постоянное обновление каждой страницы не означает, что краулер должен заново загружать весь сайт. Сигналы, связанные с изменениями, могут помочь определить, когда страницу стоит посетить снова, тогда как фильтры не позволяют выполнять краулинг несуществующих страниц или страниц, перенаправляющих в другие места. Обнаружение новых страниц может сначала увеличить объём краулинга, но цель заключается в поддержании актуальности индекса при сокращении повторной работы со страницами, которые не изменились.
Cloudflare сообщает, что следующий этап будет сосредоточен на улучшении выбора страниц, тестировании более быстрых и надёжных сигналов для обнаружения изменений и измерении результатов после обнаружения контента. Компании также продолжат изучать, приводит ли улучшение обнаружения к практическим результатам для владельцев сайтов, таким как увеличение посещаемости или доступ к заинтересованной аудитории.
Ограничения эксперимента: Cloudflare подчёркивает, что сигнал о странице не предоставляет разрешения на доступ к ней, а поиск использует метаданные о веб-среде для обнаружения и индексации, а не для передачи содержимого страниц с целью обучения моделей. Владельцы доменов могут использовать инструмент AI Crawl Control от Cloudflare, чтобы понимать и контролировать доступ систем искусственного интеллекта к своим сайтам.