A Cloudflare anunciou um novo sistema para avaliar continuamente o comportamento de robôs verificados, em uma iniciativa que busca associar a identidade do robô a um histórico prático que mostre até que ponto ele respeita as preferências dos sites. A empresa considera que saber qual entidade opera o robô não é suficiente, por si só, para avaliar sua confiabilidade, já que um robô conhecido pode ignorar as instruções dos sites ou continuar enviando solicitações mesmo depois de receber sinais claros para reduzir sua atividade.
A Cloudflare usa o termo Verified Bot para robôs que atendem a três condições básicas: identificar-se com precisão e segurança, fazer o que afirmam que farão e não se envolver em comportamento abusivo. O processo de identificação baseia-se no Web Bot Auth para assinar as solicitações, enquanto o BotBase cataloga essas identidades em um formato aberto. Já o novo sistema concentra-se na segunda e na terceira condições, monitorando o comportamento recorrente em vez de emitir um julgamento permanente com base em um incidente isolado.
Da identidade à confiança acumulada
A Cloudflare diferencia risco de confiança. O risco descreve a probabilidade de uma determinada solicitação ser prejudicial em um momento específico, enquanto a confiança é construída por meio de um comportamento recorrente e consistente. A empresa transformará as observações comportamentais em uma «faixa de confiança» interpretável, que mostrará o grau de regularidade com que o robô respeita as preferências dos sites e os fatores que levaram a essa avaliação.
Entre os exemplos citados pela empresa está a remoção do robô da Perplexity da lista de robôs verificados em 2025, depois que ele tentou acessar recursos em sites que haviam escolhido não permitir scraping e, em seguida, tentou contornar os controles quando essas solicitações foram bloqueadas.
Sinais monitorados pelo sistema
A avaliação inicial concentra-se em duas perguntas: o robô respeita as instruções publicadas? E responde às observações diretas do site? A Cloudflare considera o arquivo robots.txt o principal meio pelo qual os sites publicam suas preferências sobre rastreamento. Por isso, o sistema monitora se o tráfego do robô está de acordo com essas preferências ao longo do tempo, com foco nos padrões recorrentes, e não em violações isoladas.
A empresa explica que o robots.txt define o conjunto mínimo de regras que o robô deve seguir, e não significa que tudo o que não estiver mencionado nele seja automaticamente permitido. O site pode enviar outros sinais indicando que a continuidade do acesso não é desejada.
O sistema também monitora a resposta do robô ao código HTTP 429, que significa «solicitações demais» e pede que o visitante reduza a taxa de solicitações, podendo incluir o período de espera antes de uma nova tentativa. O robô que diminui o ritmo ou para depois de receber esse sinal fortalece sua faixa de confiança, enquanto ignorá-lo repetidamente reduz a avaliação.
O que muda na prática?
A Cloudflare afirma que o sistema está sendo usado internamente atualmente para avaliar até que ponto os robôs verificados cumprem as preferências dos sites. A empresa planeja disponibilizá-lo a todos os seus clientes, permitindo que eles definam o nível de confiança exigido ao decidir como lidar com o tráfego de Verified Bot.
O sistema integra um ciclo de responsabilização que o reúne ao Bot Preference Sync, que ajuda os proprietários de sites a publicar suas preferências, e ao Bot Management, que permite definir como lidar com o tráfego automatizado. Na prática, isso acrescenta uma camada comportamental à decisão de permitir o acesso: o site não dependerá apenas da identidade do robô, mas poderá basear-se também em seu histórico de respeito às instruções e de resposta aos sinais de pressão.
No entanto, a Cloudflare ainda não detalhou o mecanismo de cálculo da faixa de confiança nem a data de disponibilidade geral, e o sistema ainda está na fase de construir um registro histórico e aprimorar a forma como as observações são transformadas em orientações. A empresa pretende publicar essas pontuações futuramente no Radar e ampliar os sinais incluídos na avaliação.