Cloudflare lanzó la función BotBase for Operators para ofrecer a los operadores de bots una forma más clara de incluir sus bots en el directorio de BotBase y consultar el estado de las solicitudes después de enviarlas. La nueva función permite saber si una solicitud está en revisión, ha sido aceptada o ha sido rechazada, además de mostrar el motivo del rechazo o cualquier modificación que Cloudflare haya realizado en la clasificación del bot.
La medida llega después de que Cloudflare lanzara un directorio consultable de bots conocidos dentro del panel de control, junto con herramientas que ayudan a los propietarios de sitios web a comprender cómo interactúan los rastreadores con su contenido. La empresa considera que la gestión del tráfico automatizado no depende únicamente de las decisiones de los propietarios de los sitios, sino que también requiere que los operadores de bots se identifiquen, expliquen cómo funcionan y mantengan la precisión de sus datos.
Un espacio unificado para las solicitudes de inclusión
Anteriormente, el formulario para enviar bots se encontraba en Manage Account → Configurations, lo que hacía que el proceso estuviera más vinculado a la cuenta que al ecosistema de bots. Ahora se puede acceder a BotBase for Operators desde la ruta Protect & Connect → Application Security → BotBase dentro del panel de Cloudflare, y la empresa afirma que todos los clientes pueden acceder a él.
La interfaz se divide en tres secciones principales:
- Bots directory: explorar, buscar y filtrar los bots que Cloudflare rastrea.
- Submission form: enviar una solicitud para incluir un nuevo bot.
- Submission history: consultar las solicitudes enviadas por la cuenta.
La página del historial de solicitudes muestra tres estados principales: Waiting for review cuando se recibe la solicitud y se coloca en la cola de revisión; Accepted después de aceptar el bot y añadirlo al directorio; y Rejected cuando la solicitud necesita modificaciones. En el último caso, se muestra el motivo del rechazo y los pasos necesarios para volver a enviarla.
Editar los datos del bot y describir su comportamiento
Ahora el operador puede editar una solicitud enviada anteriormente en lugar de crear una nueva inclusión cuando cambian detalles como el punto de acceso a una lista de direcciones IP o el paso de una lista de permitidos de direcciones IP al uso de una firma de Web Bot Auth. También puede cancelar la solicitud mientras siga esperando la revisión. Cloudflare recomienda mantener estos datos actualizados, ya que su precisión influye en que el bot obtenga y conserve el estado de Verified, aunque la decisión final sobre permitir el tráfico sigue correspondiendo a cada propietario de un sitio.
El nuevo formulario de inclusión se basa en el modelo de comportamiento y uso del contenido que Cloudflare presentó el 1 de julio, en lugar de obligar al operador a elegir una sola categoría. El formulario solicita especificar tres aspectos:
- Qué hace el bot, como indexar páginas, actuar en nombre del usuario, recopilar datos, entrenar modelos o respaldar herramientas de optimización para motores de búsqueda.
- Cómo utiliza el contenido que lee, con la especificación del nivel de uso conforme al modelo Content Signals.
- Quién lo opera: un operador directo que gestiona su propia infraestructura, o un intermediario que ejecuta solicitudes emitidas por otro producto o plataforma.
Cloudflare explica que un bot que lee una página para crear un fragmento de búsqueda se diferencia de un bot que almacena la página para entrenar un modelo. La empresa cita como ejemplo una señal que podría incluir Content-Signal: search=yes, ai-train=no, use=reference, lo que permite la indexación para búsquedas y la conservación de una referencia, pero no permite el entrenamiento de inteligencia artificial.
¿Qué cambia en la práctica?
Cloudflare también reconstruyó el proceso de revisión para incluir comprobaciones automatizadas, después de que el número anual de nuevas solicitudes aumentara aproximadamente siete veces desde 2023. Los sistemas comprueban la posible duplicación del bot, la singularidad del patrón del agente de usuario y la validez del método de verificación declarado. Pueden obtener una lista de direcciones IP y comprobar el sistema de nombres de dominio inverso, o verificar una firma de Web Bot Auth. Si la solicitud requiere una revisión humana, se remite al equipo indicando el motivo de la comprobación, en lugar de colocarla en una cola de espera sin descripción.
La actualización representa el paso de BotBase de un directorio dirigido principalmente a los propietarios de sitios a un espacio que también incluye a los operadores de bots. Sin embargo, el lanzamiento actual se centra únicamente en la visibilidad; la posibilidad de reclamar la propiedad de una inclusión, gestionarla y comprender cómo la tratan los sitios está prevista para más adelante, mientras que la idea de crear un canal de diálogo entre operadores y propietarios de sitios sigue siendo un objetivo más distante. Por tanto, BotBase no elimina las decisiones individuales de los sitios, sino que proporciona información más estructurada en la que dichas decisiones pueden basarse.