Cloudflare anunció un nuevo sistema para evaluar continuamente el comportamiento de los bots verificados, en un paso destinado a vincular la identidad del bot con un historial práctico que muestre hasta qué punto respeta las preferencias de los sitios. La empresa considera que saber qué entidad opera el bot no basta por sí solo para juzgar su fiabilidad, ya que un bot conocido puede ignorar las instrucciones de los sitios o continuar enviando solicitudes pese a recibir señales claras para reducir su actividad.
Cloudflare utiliza el término Verified Bot para los bots que cumplen tres condiciones fundamentales: identificarse con precisión y seguridad, hacer lo que dicen que harán y no incurrir en un comportamiento abusivo. El proceso de identificación se basa en Web Bot Auth para firmar las solicitudes, mientras que BotBase indexa estas identidades en un formato abierto. En cambio, el nuevo sistema se centra en la segunda y la tercera condición, mediante la supervisión del comportamiento repetido en lugar de emitir un juicio permanente basándose en un incidente aislado.
De la identidad a la confianza acumulada
Cloudflare distingue entre riesgo y confianza. El riesgo describe la probabilidad de que una solicitud concreta sea perjudicial en un momento determinado, mientras que la confianza se construye mediante un comportamiento repetido y coherente. La empresa convertirá las observaciones de comportamiento en un «rango de confianza» interpretable, que mostrará hasta qué punto el bot respeta de forma constante las preferencias de los sitios y los factores que condujeron a esa evaluación.
Uno de los ejemplos que cita la empresa es la eliminación del bot de Perplexity de la lista de bots verificados en 2025, después de que intentara acceder a recursos de sitios que habían optado por no permitir el scraping y, posteriormente, intentara eludir los controles cuando se le bloquearon esas solicitudes.
Las señales que supervisa el sistema
La evaluación inicial se centra en dos preguntas: ¿respeta el bot las instrucciones publicadas? ¿Y responde a las observaciones directas del sitio? Cloudflare considera que el archivo robots.txt es el medio principal mediante el cual los sitios publican sus preferencias sobre el rastreo. Por ello, el sistema supervisa si el tráfico del bot coincide con estas preferencias a lo largo del tiempo, centrándose en los patrones repetidos y no en las infracciones aisladas.
La empresa explica que robots.txt establece el conjunto mínimo de reglas que el bot debe respetar, y no significa que todo lo que no se menciona en él esté permitido automáticamente. El sitio puede enviar otras señales que indiquen que no desea que continúe el acceso.
El sistema también supervisa la respuesta del bot al código HTTP 429, que significa «demasiadas solicitudes» y pide al visitante que reduzca la tasa de solicitudes, y que puede incluir el tiempo de espera antes de volver a intentarlo. El bot que reduce la velocidad o se detiene después de recibir esta señal refuerza su rango de confianza, mientras que ignorarla repetidamente reduce la evaluación.
¿Qué cambia en la práctica?
Cloudflare afirma que actualmente el sistema funciona internamente para evaluar hasta qué punto los bots verificados cumplen las preferencias de los sitios. La empresa planea ponerlo a disposición de todos sus clientes y permitirles determinar el nivel de confianza requerido al decidir cómo gestionar el tráfico de Verified Bot.
El sistema forma parte de un ciclo de responsabilidad que lo integra con Bot Preference Sync, que ayuda a los propietarios de sitios a publicar sus preferencias, y Bot Management, que les permite determinar cómo gestionar el tráfico automatizado. En la práctica, esto añade una capa de comportamiento a la decisión de autorización: el sitio no se basará únicamente en la identidad del bot, sino que podrá apoyarse en su historial de respeto de las instrucciones y respuesta a las señales de presión.
Sin embargo, Cloudflare aún no ha especificado los detalles del mecanismo para calcular el rango de confianza ni la fecha de disponibilidad general, y el sistema todavía se encuentra en la fase de construir un historial y perfeccionar la forma en que las observaciones se convierten en directrices. La empresa tiene previsto publicar estas puntuaciones en el futuro en Radar y ampliar las señales que intervienen en la evaluación.