Standardisierung des Schutzes digitaler Inhalte
Die Unternehmen Google, OpenAI, Anthropic und Microsoft haben ihre Verpflichtung zur Unterstützung einer neuen Anweisung innerhalb der "robots.txt"-Datei angekündigt, dem technischen Standard, den Website-Betreiber nutzen, um zu steuern, wie Webcrawler mit ihren Inhalten interagieren. Dieser Ansatz zielt darauf ab, Verlagen ein einheitliches und effektives Mittel an die Hand zu geben, um KI-Unternehmen daran zu hindern, ihre Daten zu scrapen und sie für das Training generativer Modelle zu verwenden.
Der neue Vorschlag, der von Kevin Kelley, dem technischen Standardisierungsbeauftragten bei Anthropic, entworfen wurde, wird derzeit von der Organisation "IETF" geprüft, die für die Festlegung offener Internetstandards zuständig ist. Dieser Schritt dient der Lösung eines technischen Problems, vor dem Website-Betreiber stehen, da sie derzeit gezwungen sind, separate Regeln für jedes KI-Unternehmen einzeln festzulegen.
Wie funktioniert der neue Standard?
Anstatt jedes Unternehmen einzeln zu behandeln, wird der neue Standard es Verlagen ermöglichen, ein einheitliches Signal (User-Agent) zu verwenden, das speziell für das KI-Training vorgesehen ist und in der robots.txt-Datei wie folgt erscheint:
- User-Agent: __usage_ai-training
- Disallow: /
Diese Ergänzung ermöglicht es Websites, Crawler, die speziell für das Sammeln von Trainingsdaten vorgesehen sind, kollektiv zu blockieren, wobei die Möglichkeit besteht, bestimmte Teile der Website (wie Presse-Dateien) über den Befehl "Allow" auszuschließen. Es ist wichtig zu beachten, dass diese Maßnahme Suchmaschinen nicht daran hindert, die Website zu indexieren oder in den Suchergebnissen anzuzeigen; ihre Wirkung beschränkt sich lediglich darauf, die Nutzung der Inhalte für Modelltrainingsprozesse zu verhindern. Beispielsweise wird Google dieses Signal als Stopp-Signal für den Crawler "Google-Extended" interpretieren, der für das Sammeln von Materialien zum Training der Gemini-Modelle zuständig ist.
Was ändert sich in der Praxis?
Diese Verpflichtung stellt einen Wandel von "technischem Chaos" zu "vereinheitlichter Regulierung" dar. Anstatt dass ein Verlag jedem Technologieunternehmen mit einem eigenen Protokoll hinterherlaufen muss, wird er in der Lage sein, ein einziges Signal zu senden, das von allen verstanden wird, was die technische Last verringert und eine präzisere Kontrolle über digitale Assets ermöglicht. Es gibt jedoch eine wesentliche Einschränkung, die beachtet werden muss: Dieser Standard hat keine rückwirkende Kraft, das heißt, er wird Unternehmen nicht daran hindern, Daten zu verwenden, die bereits in der Vergangenheit gescrapt wurden, sondern er wird nur als Barriere für neue Inhalte in der Zukunft fungieren.
Zeitplan der Implementierung
Die Unternehmen unterscheiden sich in der Geschwindigkeit der Einführung dieses Standards; während Anthropic bereits mit der Unterstützung begonnen hat, hat sich OpenAI verpflichtet, ihn in den nächsten Monaten umzusetzen. Bei Google und Microsoft wird erwartet, dass ihre tatsächliche Unterstützung Anfang 2027 beginnt, wobei Microsoft den 1. Februar 2027 als Datum für den Beginn der Unterstützung festgelegt hat.