Cloudflare anunció el 15 de septiembre de 2026 una nueva configuración denominada Disallow AI Training, que permite a los propietarios de sitios web rechazar el uso de su contenido para entrenar modelos de inteligencia artificial sin bloquear a los rastreadores de búsqueda capaces de mantener el sitio localizable. La configuración aborda el problema de los rastreadores mixtos que utilizan el mismo rastreador para las búsquedas y para entrenar modelos, lo que en la práctica obligaba al propietario del sitio a aceptar ambos usos o bloquearlos conjuntamente.
La configuración está disponible para todos los clientes de Cloudflare y en todos los planes, y puede ajustarse a nivel de dominio desde la configuración de seguridad. La empresa afirma que Apple, Google y Microsoft cumplen o se han comprometido a cumplir esta opción dentro de un marco denominado Accountable. Esta clasificación se concede a los operadores de rastreadores que ofrecen mecanismos para rechazar el entrenamiento de inteligencia artificial y sus resúmenes, transparencia sobre las páginas utilizadas y garantías de que el rechazo no afectará a los resultados de las búsquedas tradicionales.
¿Cómo funciona la nueva configuración?
Bot Preference Sync publica una preferencia adecuada en el archivo robots.txt. Al seleccionar Disallow AI Training, los rastreadores mixtos clasificados como Accountable siguen teniendo permitido el acceso con fines de búsqueda, mientras que los demás rastreadores de entrenamiento quedan bloqueados, incluidos los operados por Amazon, Anthropic, Meta y OpenAI, sin afectar a la aparición del sitio en las búsquedas a través de esas entidades.
Cloudflare también redefinió algunas de sus opciones existentes. Las opciones Block y Block on pages with ads ahora se aplican a rastreadores mixtos como Applebot, Bingbot y Googlebot, lo que significa que su uso puede bloquear tanto las búsquedas como el entrenamiento. Asimismo, las denominaciones Block AI Bots y Managed Robots.txt se retirarán en favor de controles separados para las búsquedas, el entrenamiento y los agentes, mientras que la configuración de los clientes actuales se migrará al nuevo sistema.
¿Qué diferencias hay entre las empresas?
Apple permite a los propietarios de sitios web rechazar el entrenamiento mediante la regla de robots.txt específica de Applebot-Extended. También admite actualmente preferencias para los resúmenes de inteligencia artificial mediante la directiva nosnippet, pero todavía no ofrece una herramienta para inspeccionar páginas a nivel de URL. Apple declaró que rechazar el entrenamiento no afecta a la clasificación en las búsquedas.
Google admite la regla Google-Extended y ofrece una opción dentro del portal para webmasters para excluir el contenido de los resultados de búsqueda generativos, además de informes sobre los resultados de búsqueda y los resúmenes de inteligencia artificial. Microsoft permite actualmente controlar el acceso mediante la etiqueta NOARCHIVE y herramientas para bloquear URL o eliminar contenido en Bing Webmaster Tools, pero tiene previsto añadir compatibilidad con la preferencia de no entrenamiento en robots.txt a nivel de dominio o sitio a principios de 2027. Hasta entonces, la nueva configuración de Cloudflare no transmite automáticamente esta preferencia a Bing.
¿Qué cambia en la práctica para los propietarios de sitios web?
La mayoría de los clientes actuales no necesitará realizar ninguna acción inmediata, ya que Cloudflare trasladará la configuración existente manteniendo sus efectos prácticos. Sin embargo, quienes quieran bloquear por completo Applebot, Bingbot o Googlebot, incluido su acceso con fines de búsqueda, deberán elegir Block en lugar de Disallow AI Training. En el caso de los dominios nuevos, Cloudflare propondrá configuraciones preestablecidas diferentes según la dependencia del sitio de la publicidad, porque bloquear las visitas o sustituirlas por una respuesta generada puede afectar al modelo de monetización.
La lectura editorial de certi.news
El cambio real no consiste simplemente en añadir una regla a robots.txt, sino en trasladar la decisión de una opción binaria a una política más detallada que vincula la identidad del rastreador con el propósito de la visita. Esto es importante para los editores que quieren mantener la visibilidad en las búsquedas sin otorgar un consentimiento general para entrenar modelos, pero no elimina la necesidad de verificar que cada operador cumpla efectivamente las preferencias publicadas.
Los resúmenes de inteligencia artificial siguen siendo una cuestión distinta del entrenamiento: el resumen puede reducir las visitas al sitio, pero también puede derivar a un número menor de usuarios con una mayor intención de compra. Por ello, Cloudflare planea ofrecer a principios del próximo año un control más preciso sobre la cantidad de contenido que aparece en los resúmenes mediante una configuración centralizada, en lugar de gestionar la preferencia con cada operador por separado. También siguen abiertas cuestiones como la interoperabilidad de los estándares, incluido ai-prefs, y el comportamiento de los agentes utilizados en nombre de los seres humanos.