Cloudflare hat die Funktion BotBase for Operators gestartet, um Bot-Betreibern eine klarere Möglichkeit zu geben, ihre Bots in das BotBase-Verzeichnis einzutragen und den Status ihrer Anträge nach der Einreichung zu verfolgen. Die neue Funktion zeigt, ob sich ein Antrag in Prüfung befindet, angenommen oder abgelehnt wurde, einschließlich des Ablehnungsgrunds oder etwaiger Änderungen, die Cloudflare an der Bot-Kategorisierung vorgenommen hat.
Der Schritt folgt auf den Start eines durchsuchbaren Verzeichnisses bekannter Bots durch Cloudflare innerhalb des Dashboards sowie auf Tools, die Websitebetreibern helfen, zu verstehen, wie Crawler mit ihren Inhalten interagieren. Nach Ansicht des Unternehmens hängt die Verwaltung automatisierten Datenverkehrs nicht allein von den Entscheidungen der Websitebetreiber ab, sondern erfordert auch, dass Bot-Betreiber sich identifizieren, ihre Funktionsweise erklären und die Richtigkeit ihrer Daten gewährleisten.
Ein zentraler Bereich für Einreichungsanträge
Das Formular zum Einreichen von Bots befand sich zuvor unter Manage Account → Configurations, wodurch der Prozess stärker mit dem Konto als mit dem Bot-System verknüpft war. Nun ist BotBase for Operators im Cloudflare-Dashboard unter Protect & Connect → Application Security → BotBase erreichbar. Nach Angaben des Unternehmens können alle Kunden darauf zugreifen.
Die Benutzeroberfläche ist in drei Hauptbereiche unterteilt:
- Bots directory: Die von Cloudflare erfassten Bots durchsuchen, durchblättern und filtern.
- Submission form: Einen Antrag zur Aufnahme eines neuen Bots einreichen.
- Submission history: Die vom Konto eingereichten Anträge verfolgen.
Die Seite mit dem Antragsverlauf zeigt drei grundlegende Status: Waiting for review, wenn der Antrag eingegangen und in die Prüfung aufgenommen wurde; Accepted, nachdem der Bot angenommen und dem Verzeichnis hinzugefügt wurde; und Rejected, wenn der Antrag eine Änderung erfordert. Im letzten Fall werden der Ablehnungsgrund und die für eine erneute Einreichung erforderlichen Schritte angezeigt.
Bot-Daten bearbeiten und sein Verhalten beschreiben
Betreiber können nun einen bereits eingereichten Antrag bearbeiten, anstatt bei Änderungen von Details wie dem Zugriffspunkt auf eine IP-Adressliste oder dem Wechsel von einer IP-Adressfreigabeliste zur Verwendung einer Web Bot Auth-Signatur einen neuen Eintrag zu erstellen. Außerdem kann der Antrag storniert werden, solange er auf die Prüfung wartet. Cloudflare empfiehlt, diese Daten aktuell zu halten, da ihre Richtigkeit für den Erhalt und die Beibehaltung des Status Verified eines Bots relevant ist. Die endgültige Entscheidung über die Zulassung des Datenverkehrs bleibt jedoch bei jedem Websitebetreiber.
Das neue Einreichungsformular basiert auf dem von Cloudflare am 1. Juli vorgestellten Modell für Verhalten und Inhaltsnutzung, anstatt den Betreiber zur Auswahl nur einer Kategorie zu zwingen. Das Formular verlangt Angaben zu drei Aspekten:
- Was der Bot tut, etwa Seiten indexieren, im Namen des Benutzers handeln, Daten sammeln, Modelle trainieren oder SEO-Tools unterstützen.
- Wie er die gelesenen Inhalte nutzt, einschließlich der Festlegung der Nutzungsstufe gemäß dem Modell Content Signals.
- Wer ihn betreibt: ein direkter Betreiber, der seine Infrastruktur verwaltet, oder ein Vermittler, der Anfragen im Auftrag eines anderen Produkts oder einer anderen Plattform ausführt.
Cloudflare erklärt, dass sich ein Bot, der eine Seite liest, um ein Such-Snippet zu erstellen, von einem Bot unterscheidet, der die Seite zum Trainieren eines Modells speichert. Als Beispiel nennt das Unternehmen ein Signal, das Content-Signal: search=yes, ai-train=no, use=reference enthalten kann. Dadurch wird die Indexierung für die Suche und die Aufbewahrung als Referenz erlaubt, nicht jedoch das Training künstlicher Intelligenz.
Was ändert sich praktisch?
Cloudflare hat den Prüfprozess außerdem neu aufgebaut und automatisierte Kontrollen integriert, nachdem die Zahl der neuen jährlichen Anträge seit 2023 um etwa das Siebenfache gestiegen ist. Die Systeme prüfen, ob der Bot möglicherweise bereits vorhanden ist, ob das User-Agent-Muster eindeutig ist und ob die angegebene Verifizierungsmethode gültig ist. Sie können eine IP-Adressliste abrufen und das Reverse-DNS überprüfen oder eine Web-Bot-Auth-Signatur prüfen. Wenn ein Antrag eine manuelle Prüfung benötigt, wird er mit Angabe des Prüfgrunds an das Team weitergeleitet, anstatt in eine nicht näher beschriebene Warteschlange aufgenommen zu werden.
Das Update stellt einen Übergang von BotBase von einem hauptsächlich an Websitebetreiber gerichteten Verzeichnis zu einem Bereich dar, der auch Bot-Betreiber einbezieht. Der aktuelle Start konzentriert sich jedoch ausschließlich auf die Sichtbarkeit. Die Möglichkeit, die Inhaberschaft eines Eintrags zu beanspruchen und ihn zu verwalten sowie zu verstehen, wie Websites damit umgehen, ist für später geplant. Die Idee, einen Dialogkanal zwischen Betreibern und Websitebetreibern einzurichten, bleibt ein weiter entferntes Ziel. BotBase ersetzt daher nicht die individuellen Entscheidungen der Websites, sondern stellt regelmäßigere Informationen bereit, auf die sich diese Entscheidungen stützen können.