Unificación de los estándares de protección de contenido digital
Google, OpenAI, Anthropic y Microsoft han anunciado su compromiso de respaldar una nueva directiva dentro del archivo "robots.txt", el estándar técnico que utilizan los propietarios de sitios web para gestionar cómo interactúan los rastreadores web con su contenido. Este movimiento tiene como objetivo proporcionar a los editores un medio unificado y eficaz para impedir que las empresas de inteligencia artificial realicen el raspado (scraping) de sus datos y los utilicen en el entrenamiento de modelos generativos.
La nueva propuesta, elaborada por Kevin Kelley, responsable técnico de estándares en Anthropic, se encuentra actualmente bajo revisión por parte de la organización "IETF", encargada de establecer los estándares de la internet abierta. Esta medida surge para resolver un problema técnico que enfrentan los propietarios de sitios web, quienes actualmente se ven obligados a definir reglas separadas para cada empresa de inteligencia artificial de forma individual.
¿Cómo funciona el nuevo estándar?
En lugar de tratar a cada empresa de forma independiente, el nuevo estándar permitirá a los editores utilizar una señal unificada (User-Agent) dedicada al entrenamiento de IA, que aparecerá en el archivo robots.txt de la siguiente manera:
- User-Agent: __usage_ai-training
- Disallow: /
Esta adición permite a los sitios web bloquear colectivamente a los rastreadores dedicados a la recopilación de datos de entrenamiento, con la posibilidad de excluir partes específicas del sitio (como archivos de prensa) mediante el comando "Allow". Es importante señalar que esta medida no impide que los motores de búsqueda archiven el sitio o que este aparezca en los resultados de búsqueda; su efecto se limita únicamente a evitar el uso del contenido en los procesos de entrenamiento de modelos. Por ejemplo, Google interpretará esta señal como una instrucción de parada para el rastreador "Google-Extended", responsable de recopilar materiales para el entrenamiento de los modelos Gemini.
¿Qué cambia en la práctica?
Este compromiso representa una transición del "caos técnico" a la "organización unificada". En lugar de que el editor tenga que perseguir a cada empresa tecnológica con un protocolo específico, podrá enviar una única señal que todos comprendan, lo que reducirá la carga técnica y proporcionará un control más preciso sobre los activos digitales. Sin embargo, hay una limitación fundamental que debe tenerse en cuenta: este estándar no tiene carácter retroactivo, lo que significa que no impedirá que las empresas utilicen los datos que ya han sido recopilados en el pasado, sino que funcionará únicamente como una barrera para el contenido nuevo en el futuro.
Cronograma de implementación
Las empresas varían en su velocidad de adopción de este estándar; Anthropic ya ha comenzado a respaldarlo, mientras que OpenAI se ha comprometido a implementarlo en los próximos meses. En cuanto a Google y Microsoft, se espera que su apoyo efectivo comience a principios de 2027, habiendo fijado Microsoft el 1 de febrero de 2027 como la fecha de inicio del soporte.