A Cloudflare anunciou o recurso Bot Preference Sync para sincronizar automaticamente o arquivo robots.txt com as preferências do site relacionadas a três categorias de tráfego de robôs de inteligência artificial: busca (Search), agentes (Agent) e treinamento (Training). O recurso tem como objetivo evitar contradições entre o que o site declara em seu arquivo público e o que as regras da Cloudflare impõem na borda, sem a necessidade de gerenciar separadamente um arquivo estático.
A empresa afirmou que alguns sites podem incluir no robots.txt uma diretiva que impede determinado rastreador, enquanto as regras efetivas de execução não o impedem, ou o contrário. Esse conflito pode levar alguns rastreadores a ignorar as preferências declaradas ou a tentar contornar as regras impostas. Quando o Bot Preference Sync é ativado, as diretivas que refletem as configurações de AI bot configuration são adicionadas ao início do arquivo existente, mantendo as instruções Disallow previamente presentes.
Opções diferentes para busca, agentes e treinamento
Para robôs de busca e agentes, a Cloudflare mantém as três opções anunciadas em 1º de julho de 2026: permitir; bloquear em páginas que exibem anúncios; ou bloquear em todas as páginas. Já a categoria de treinamento inclui a opção Disallow para registrar no robots.txt a preferência de “não treinar”.
Essa opção permite que rastreadores mistos cooperativos, que usam o mesmo rastreador para busca e treinamento ou para outros usos, continuem acessando o conteúdo para indexá-lo na busca caso respeitem a preferência de não treinar e forneçam o nível de transparência exigido. A Cloudflare afirma que a presença nos resultados de busca para rastreadores cooperativos não é afetada nesse caso, enquanto os rastreadores que não oferecem transparência continuam bloqueados quando a prevenção de treinamento é selecionada.
Transparência é requisito para lidar com rastreadores mistos
A Cloudflare condiciona o tratamento de rastreadores que combinam busca e treinamento à capacidade deles de esclarecer sua identidade e como usam os dados coletados. Segundo o anúncio, esses rastreadores devem respeitar a preferência de não treinar por qualquer mecanismo, oferecer aos proprietários de sites uma opção para rejeitar resumos gerados por inteligência artificial e fornecer visibilidade no nível de URL das páginas disponíveis para treinamento, além de métricas que indiquem o uso do conteúdo em busca e treinamento.
Eles também devem conseguir demonstrar que impedir o treinamento não prejudica os resultados de busca tradicionais. A Cloudflare inclui os robôs que atendem a esses critérios na seção de transparência de robôs de inteligência artificial do Cloudflare Radar, com exemplos de conformidade ou não conformidade com as práticas exigidas.
Disponibilidade e configurações padrão
O Bot Preference Sync estará disponível para todos os clientes, do plano gratuito ao Enterprise, durante a semana seguinte ao anúncio publicado em 21 de agosto de 2026, segundo a empresa. O recurso será ativado por padrão para novos clientes. Já os clientes atuais que usam o antigo recurso de robots.txt gerenciado serão solicitados pela Cloudflare a revisar suas preferências e confirmar a migração para o novo recurso quando ele for disponibilizado.
A Cloudflare não adicionará, na configuração padrão de novos clientes não classificados como editores, nenhuma operação de bloqueio ou impedimento ao registrar um novo domínio; a definição da política de busca, agentes ou treinamento continuará sob responsabilidade do cliente. Para sites que geram receita com páginas apoiadas por anúncios, será possível selecionar a configuração “Gero receita com páginas que contêm anúncios neste domínio”, o que definirá Training como Disallow por padrão, mantendo o conteúdo disponível para busca.
O recurso não interpreta regras individuais complexas nem exceções específicas para determinadas empresas, pois foi projetado para aplicar políticas no nível da categoria. Por isso, proprietários com políticas precisas podem desativar a sincronização e gerenciar o robots.txt de acordo com suas regras personalizadas. Na prática, o Bot Preference Sync oferece aos proprietários de sites um único ponto de controle para conciliar o que declaram aos rastreadores com o que impõem ao tráfego de inteligência artificial, enquanto a decisão adequada varia conforme o modelo e as prioridades do site entre visibilidade, referências e prevenção do uso do conteúdo em treinamento.