Cloudflare hat ein neues System zur kontinuierlichen Bewertung des Verhaltens verifizierter Bots angekündigt. Damit soll die Identität eines Bots mit einem praktischen Verlauf verknüpft werden, der zeigt, in welchem Maß er die Präferenzen von Websites respektiert. Nach Ansicht des Unternehmens reicht es nicht aus, zu wissen, welche Stelle den Bot betreibt, um dessen Vertrauenswürdigkeit zu beurteilen. Ein bekannter Bot kann Anweisungen von Websites ignorieren oder weiterhin Anfragen senden, obwohl er klare Signale erhalten hat, seine Aktivität zu reduzieren.
Cloudflare verwendet den Begriff Verified Bot für Bots, die drei grundlegende Bedingungen erfüllen: Sie müssen sich präzise und sicher identifizieren, das tun, was sie nach eigenen Angaben tun werden, und dürfen kein missbräuchliches Verhalten zeigen. Die Identifizierung erfolgt über Web Bot Auth zur Signierung von Anfragen, während BotBase diese Identitäten in einem offenen Format katalogisiert. Das neue System konzentriert sich dagegen auf die zweite und dritte Bedingung, indem es wiederholtes Verhalten überwacht, statt anhand eines einzelnen Vorfalls ein dauerhaftes Urteil zu fällen.
Von der Identität zu kumuliertem Vertrauen
Cloudflare unterscheidet zwischen Risiko und Vertrauen. Das Risiko beschreibt die Wahrscheinlichkeit, dass eine bestimmte Anfrage in einem bestimmten Moment schädlich ist, während Vertrauen durch wiederholtes und konsistentes Verhalten aufgebaut wird. Das Unternehmen will die Verhaltensbeobachtungen in einen interpretierbaren „Vertrauensbereich“ umwandeln, der zeigt, wie regelmäßig der Bot die Präferenzen von Websites respektiert und welche Faktoren zu dieser Bewertung geführt haben.
Als Beispiel nennt das Unternehmen die Entfernung des Perplexity-Bots aus der Liste der verifizierten Bots im Jahr 2025, nachdem dieser versucht hatte, auf Ressourcen von Websites zuzugreifen, die sich gegen Scraping entschieden hatten, und anschließend versucht hatte, die Schutzmaßnahmen zu umgehen, als diese Anfragen blockiert wurden.
Signale, die das System überwacht
Die anfängliche Bewertung konzentriert sich auf zwei Fragen: Respektiert der Bot die veröffentlichten Anweisungen? Und reagiert er auf direkte Hinweise der Website? Cloudflare betrachtet die Datei robots.txt als wichtigstes Mittel, mit dem Websites ihre Präferenzen zum Crawling veröffentlichen. Daher überwacht das System im Zeitverlauf, ob der Datenverkehr des Bots diesen Präferenzen entspricht, wobei der Schwerpunkt auf wiederkehrenden Mustern und nicht auf isolierten Verstößen liegt.
Das Unternehmen erklärt, dass robots.txt die Mindestrichtlinien festlegt, an die sich der Bot halten sollte, und nicht bedeutet, dass alles, was darin nicht erwähnt wird, automatisch erlaubt ist. Eine Website kann weitere Signale senden, die darauf hinweisen, dass ein weiterer Zugriff nicht erwünscht ist.
Das System überwacht außerdem, wie der Bot auf den HTTP-429-Statuscode reagiert. Dieser bedeutet „Zu viele Anfragen“ und fordert den Besucher auf, die Anfragerate zu senken; zudem kann er eine Wartezeit bis zu einem erneuten Versuch enthalten. Ein Bot, der nach Erhalt dieses Signals langsamer wird oder anhält, stärkt seinen Vertrauensbereich, während wiederholtes Ignorieren des Signals zu einer Herabstufung der Bewertung führt.
Was ändert sich praktisch?
Cloudflare zufolge wird das System derzeit intern eingesetzt, um zu bewerten, in welchem Maß verifizierte Bots die Präferenzen von Websites einhalten. Das Unternehmen plant, es allen Kunden zur Verfügung zu stellen und ihnen die Möglichkeit zu geben, das erforderliche Vertrauensniveau festzulegen, wenn sie entscheiden, wie mit dem Datenverkehr von Verified Bots umzugehen ist.
Das System ist Teil eines Verantwortungszyklus, der es mit Bot Preference Sync verbindet, das Websitebetreibern bei der Veröffentlichung ihrer Präferenzen hilft, sowie mit Bot Management, das ihnen ermöglicht, den Umgang mit automatisiertem Datenverkehr festzulegen. Praktisch fügt dies der Zulassungsentscheidung eine Verhaltensebene hinzu: Eine Website wird sich nicht nur auf die Identität des Bots stützen, sondern kann auch dessen Verlauf hinsichtlich der Einhaltung von Anweisungen und der Reaktion auf Belastungssignale berücksichtigen.
Cloudflare hat jedoch noch keine Einzelheiten zur Berechnung des Vertrauensbereichs oder zum Termin der allgemeinen Verfügbarkeit genannt. Außerdem befindet sich das System weiterhin in einer Phase, in der ein historischer Datensatz aufgebaut und die Methode verfeinert wird, mit der Beobachtungen in Empfehlungen umgewandelt werden. Das Unternehmen beabsichtigt, diese Bewertungen künftig auf Radar zu veröffentlichen und die in die Bewertung einfließenden Signale auszuweiten.