Cloudflare kündigte am 15. September 2026 eine neue Einstellung namens Disallow AI Training an. Sie ermöglicht es Website-Betreibern, die Nutzung ihrer Inhalte zum Training von KI-Modellen abzulehnen, ohne Such-Crawler zu blockieren, die dafür sorgen können, dass die Website auffindbar bleibt. Die Einstellung zielt auf das Problem gemischter Crawler ab, die denselben Crawler für die Suche und das Training von Modellen verwenden, wodurch Website-Betreiber faktisch gezwungen waren, beide Nutzungsarten zu akzeptieren oder beide gemeinsam zu blockieren.
Die Einstellung steht allen Cloudflare-Kunden in allen Tarifen zur Verfügung und kann in den Sicherheitseinstellungen auf Domain-Ebene konfiguriert werden. Nach Angaben des Unternehmens halten sich Apple, Google und Microsoft an diese Option oder haben sich dazu verpflichtet. Sie ist Teil eines von Cloudflare als Accountable bezeichneten Rahmens. Diese Einstufung wird Crawler-Betreibern verliehen, die Mechanismen zur Ablehnung von KI-Training und KI-Zusammenfassungen, Transparenz über die verwendeten Seiten sowie Garantien anbieten, dass sich eine Ablehnung nicht auf herkömmliche Suchergebnisse auswirkt.
Wie funktioniert die neue Einstellung?
Bot Preference Sync veröffentlicht eine entsprechende Präferenz in der Datei robots.txt. Bei Auswahl von Disallow AI Training bleiben als Accountable eingestufte gemischte Crawler für den Zugriff zu Suchzwecken erlaubt, während andere Trainings-Crawler blockiert werden. Dazu gehören auch die von Amazon, Anthropic, Meta und OpenAI betriebenen Crawler, ohne dass die Sichtbarkeit der Website in der Suche über diese Anbieter beeinträchtigt wird.
Cloudflare hat außerdem einige bestehende Optionen neu definiert. Die Optionen Block und Block on pages with ads gelten nun für gemischte Crawler wie Applebot, Bingbot und Googlebot. Ihre Verwendung kann daher sowohl die Suche als auch das Training blockieren. Die Bezeichnungen Block AI Bots und Managed Robots.txt werden ebenfalls zugunsten separater Kontrollen für Suche, Training und Agenten auslaufen. Die Einstellungen bestehender Kunden werden in das neue System übertragen.
Was unterscheidet die Unternehmen?
Apple ermöglicht Website-Betreibern, das Training über die eigene robots.txt-Regel für Applebot-Extended abzulehnen. Außerdem unterstützt Apple derzeit Präferenzen für KI-Zusammenfassungen über die nosnippet-Anweisung, bietet jedoch noch kein Werkzeug zur Prüfung von Seiten auf URL-Ebene. Apple erklärte, dass eine Ablehnung des Trainings keinen Einfluss auf das Suchranking hat.
Google unterstützt die Regel Google-Extended und stellt im Portal für Webmaster einen Schalter bereit, mit dem Inhalte aus generativen Suchergebnissen ausgeschlossen werden können, ergänzt durch Berichte über Suchergebnisse und KI-Zusammenfassungen. Microsoft ermöglicht derzeit die Kontrolle über das NOARCHIVE-Tag sowie über Werkzeuge zum Blockieren von URLs oder zum Entfernen von Inhalten in den Bing Webmaster Tools. Das Unternehmen plant jedoch, Anfang 2027 die Unterstützung einer Präferenz gegen Training in der robots.txt auf Domain- oder Website-Ebene hinzuzufügen. Bis dahin überträgt die neue Cloudflare-Einstellung diese Präferenz nicht automatisch an Bing.
Was ändert sich praktisch für Website-Betreiber?
Die meisten bestehenden Kunden müssen nicht sofort handeln, da Cloudflare die aktuellen Einstellungen überträgt und ihre praktischen Auswirkungen beibehält. Wer Applebot, Bingbot oder Googlebot jedoch vollständig blockieren möchte, einschließlich des Zugriffs zu Suchzwecken, muss statt Disallow AI Training die Option Block auswählen. Für neue Domains schlägt Cloudflare Voreinstellungen vor, die davon abhängen, wie stark die Website auf Werbung angewiesen ist, da das Blockieren von Zugriffen oder ihr Ersatz durch eine generierte Antwort das Monetarisierungsmodell beeinflussen kann.
Die redaktionelle Einordnung von certi.news
Die eigentliche Änderung besteht hier nicht lediglich im Hinzufügen einer weiteren Regel zu robots.txt, sondern darin, die Entscheidung von einer binären Option zu einer detaillierteren Richtlinie weiterzuentwickeln, die die Identität des Crawlers mit dem Zweck des Besuchs verknüpft. Das ist für Verlage wichtig, die ihre Sichtbarkeit in der Suche bewahren möchten, ohne eine allgemeine Zustimmung zum Training von Modellen zu erteilen. Es beseitigt jedoch nicht die Notwendigkeit zu prüfen, ob sich jeder Betreiber tatsächlich an die veröffentlichten Präferenzen hält.
KI-Zusammenfassungen bleiben zudem ein anderes Thema als das Training: Eine Zusammenfassung kann die Zahl der Besuche auf einer Website verringern, aber möglicherweise eine geringere Zahl von Nutzern mit höherer Kaufabsicht weiterleiten. Daher plant Cloudflare bis Anfang des kommenden Jahres, über eine zentrale Einstellung eine präzisere Kontrolle darüber zu ermöglichen, wie viel Inhalt in Zusammenfassungen erscheint, anstatt die Präferenz bei jedem Betreiber einzeln verwalten zu müssen. Auch die Interoperabilität von Standards, darunter ai-prefs, sowie das Verhalten von Agenten, die im Namen von Menschen handeln, bleiben offene Fragen.