Sigue la cobertura, explicaciones e historias tecnológicas relacionadas.
Cloudflare presenta un sistema que mide si los bots verificados respetan las preferencias de los sitios, como robots.txt y las respuestas HTTP 429, en lugar de limitarse a verificar su identidad. La empresa convertirá estas observaciones en un rango de confianza que podrá utilizarse en el futuro para tomar decisiones sobre la autorización de visitas automatizadas.
Meta tiene previsto aplicar una actualización de sus condiciones comerciales el 30 de octubre que le permitirá utilizar el contenido de los sitios web vinculados a cuentas empresariales para acceder a él, indexarlo, analizarlo y entrenar modelos, sin una opción clara de exclusión. Aunque la empresa afirma que el cambio se limita a unificar las cláusulas y no modifica su mecanismo de rastreo de la web, expertos jurídicos advierten que podría ampliar sus facultades respecto de los editores y del contenido web.
Cloudflare ha lanzado una nueva configuración denominada Disallow AI Training que permite a los propietarios de sitios web impedir que su contenido se utilice para entrenar modelos de inteligencia artificial, manteniéndolo disponible para los rastreadores de búsqueda de entidades que cumplen controles de transparencia. La iniciativa incluye a Apple, Google y Microsoft, aunque persisten restricciones específicas para algunos rastreadores y para el control de los resúmenes generados por inteligencia artificial.
Cloudflare anunció Bot Preference Sync, una función que actualiza automáticamente el archivo robots.txt según la configuración del sitio para los bots de búsqueda, agentes y entrenamiento. La función estará disponible para todos los clientes, desde el plan gratuito hasta Enterprise, y mantendrá disponible la opción de desactivar la sincronización.