Cloudflare und OpenAI haben erste Ergebnisse eines gemeinsamen Forschungsversuchs vorgestellt, der darauf abzielt, die Art und Weise zu verbessern, wie Systeme der künstlichen Intelligenz nützliche und sich ständig verändernde Webseiten entdecken. Der Versuch begann im Juli 2026 und stützte sich auf Signale aus dem Cloudflare-Netzwerk, um dem Such-Crawler von OpenAI dabei zu helfen, Seiten zu bestimmen, deren Prüfung sich lohnt, bevor zusätzliche Ressourcen für deren Download und Analyse verbraucht werden.
Den beiden Unternehmen zufolge ermöglichte der Versuch, der auf eine Stichprobe von etwa 1 % des gesamten Cloudflare-Netzwerks beschränkt war, OpenAI die Entdeckung und Indexierung von Hunderten Millionen neuer Webseiten. OpenAI verwendet diese Seiten als Quellen, die Nutzern von ChatGPT angezeigt werden können, wobei die abschließende Bewertung und Rangfolge der Seiten innerhalb der unabhängigen Systeme von OpenAI anhand ihrer Relevanz und ihres Nutzens erfolgt.
Von der Verbesserung der Sichtbarkeit zur Verbesserung der Auffindbarkeit
Cloudflare ist der Ansicht, dass die Sichtbarkeit einer Website in herkömmlichen Suchergebnissen nicht länger das einzige Maß für ihre Auffindbarkeit ist. Wenn sich ein Nutzer auf ein System der künstlichen Intelligenz verlässt, um eine Antwort zu erhalten oder eine Aufgabe auszuführen, muss das System zunächst die passende Seite finden und anschließend feststellen können, ob sie originelle, nützliche und zugängliche Informationen enthält.
Beispiele dafür sind Seiten, die möglicherweise nur wenige Links von anderen Websites erhalten, aber dennoch praktisch wichtig sind, etwa eine Installationsanleitung für ein bestimmtes Gerät, aktuelle Anforderungen für einen Reisepass oder die Speisekarte und Öffnungszeiten eines Restaurants. Die Netzwerksignale dienen hier als Rückkopplungsschleife, die OpenAI dabei unterstützt, Crawling-Ressourcen auf Seiten zu richten, die voraussichtlich einen tatsächlichen Mehrwert bieten.
Weniger nutzloses Crawling und mehr Sicherheit
Der Versuch zeigte, dass das Auffinden einer URL nicht zwangsläufig bedeutet, dass gültiger indexierbarer Inhalt vorhanden ist. Wiederholte automatisierte Anfragen nach nicht vorhandenen Dateien können eine Seite interessant erscheinen lassen. Außerdem leiten manche Websites zahlreiche URLs auf die Startseite weiter, oder mehrere URLs führen zu doppelten Versionen desselben Inhalts.
Die Erkennung dieser Muster vor dem Abruf der Seite kann unnötige Downloads und die Belastung von Websites reduzieren. Die beiden Unternehmen testen außerdem Signale zur Erkennung potenziell schädlicher Seiten, etwa einer gefälschten Anmeldeseite, die ein Angreifer in eine legitime Website eingeschleust hat. Anstatt die gesamte Domain abzustrafen, ermöglicht die Bewertung auf Seitenebene, verdächtige Inhalte zu isolieren und aus dem Index fernzuhalten, wie aus den von Cloudflare vorgestellten frühen Ergebnissen hervorgeht.
Was ändert sich in der Praxis für Website-Betreiber?
Die kontinuierliche Aktualisierung jeder Seite bedeutet nicht, dass der Crawler die gesamte Website erneut herunterladen muss. Signale zu Änderungen können dabei helfen zu bestimmen, wann sich ein erneuter Besuch einer Seite lohnt, während Filter das Crawlen nicht vorhandener Seiten oder von Seiten verhindern, die an andere Orte weiterleiten. Die Entdeckung neuer Seiten kann das Crawling zunächst erhöhen. Ziel ist jedoch, den Index aktuell zu halten und zugleich wiederholte Arbeit an unveränderten Seiten zu verringern.
Cloudflare zufolge wird sich die nächste Phase auf die Verbesserung der Seitenauswahl, die Erprobung schnellerer und zuverlässigerer Signale zur Erkennung von Änderungen sowie die Messung der Ergebnisse nach der Entdeckung von Inhalten konzentrieren. Die beiden Unternehmen werden außerdem weiter untersuchen, ob eine verbesserte Auffindbarkeit zu praktischen Ergebnissen für Website-Betreiber führt, etwa zu mehr Besuchern oder zum Erreichen eines interessierten Publikums.
Grenzen des Versuchs: Cloudflare betont, dass ein Signal für eine Seite keine Zugriffsberechtigung gewährt und dass die Suche Webmetadaten zu Zwecken der Entdeckung und Indexierung verwendet, nicht zur Weitergabe von Seiteninhalten für das Training von Modellen. Domaininhaber können das Tool AI Crawl Control von Cloudflare verwenden, um nachzuvollziehen und zu verwalten, wie Systeme der künstlichen Intelligenz auf ihre Websites zugreifen.