Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.
Cloudflare stellt ein System vor, das misst, ob verifizierte Bots die Präferenzen von Websites wie robots.txt und HTTP-429-Antworten respektieren, anstatt sich lediglich auf die Überprüfung ihrer Identität zu beschränken. Das Unternehmen will diese Beobachtungen in einen Vertrauensbereich umwandeln, der künftig für Entscheidungen über die Zulassung automatisierter Zugriffe genutzt werden kann.
Cloudflare hat eine neue Einstellung namens Disallow AI Training eingeführt, mit der Website-Betreiber die Nutzung ihrer Inhalte zum Training von KI-Modellen untersagen können, während sie für Such-Crawler von Anbietern zugänglich bleiben, die Transparenzanforderungen erfüllen. An der Initiative beteiligen sich Apple, Google und Microsoft; zugleich bestehen weiterhin spezielle Einschränkungen für bestimmte Crawler sowie für die Kontrolle von KI-Zusammenfassungen.