A Cloudflare anunciou, em 15 de setembro de 2026, uma nova configuração chamada Disallow AI Training, que permite aos proprietários de sites recusar o uso de seu conteúdo no treinamento de modelos de inteligência artificial sem bloquear rastreadores de busca capazes de manter o site detectável. A configuração tem como alvo o problema dos rastreadores mistos que usam o mesmo rastreador para busca e treinamento de modelos, o que, na prática, obrigava o proprietário do site a aceitar os dois usos ou bloquear ambos.
A configuração está disponível para todos os clientes da Cloudflare, em todos os planos, e pode ser definida no nível do domínio nas configurações de segurança. A empresa afirma que Apple, Google e Microsoft cumprem ou se comprometeram a cumprir essa opção dentro de uma estrutura que recebeu o nome de Accountable, uma classificação concedida a operadores de rastreadores que oferecem mecanismos para recusar o treinamento de inteligência artificial e seus resumos, transparência sobre as páginas utilizadas e garantias de que a recusa não afetará os resultados de busca tradicionais.
Como funciona a nova configuração?
O Bot Preference Sync publica uma preferência apropriada no arquivo robots.txt. Ao selecionar Disallow AI Training, os rastreadores mistos classificados como Accountable continuam autorizados a acessar o site para fins de busca, enquanto outros rastreadores de treinamento, incluindo os operados por Amazon, Anthropic, Meta e OpenAI, são bloqueados, sem afetar a aparição do site nas buscas por meio dessas empresas.
A Cloudflare também redefiniu algumas de suas opções existentes. As opções Block e Block on pages with ads passaram a se aplicar a rastreadores mistos, como Applebot, Bingbot e Googlebot, o que significa que seu uso pode bloquear tanto a busca quanto o treinamento. Os nomes Block AI Bots e Managed Robots.txt também serão aposentados em favor de controles separados para busca, treinamento e agentes, com a migração das configurações dos clientes atuais para o novo sistema.
O que é diferente entre as empresas?
A Apple permite que os proprietários de sites recusem o treinamento por meio da regra robots.txt específica do Applebot-Extended. Atualmente, também oferece suporte a preferências para resumos de inteligência artificial por meio da diretiva nosnippet, mas ainda não disponibiliza uma ferramenta para verificar páginas no nível da URL. A Apple afirmou que a recusa do treinamento não afeta a classificação nas buscas.
O Google oferece suporte à regra Google-Extended e disponibiliza uma chave no portal para administradores de sites para excluir o conteúdo dos resultados de busca generativa, além de relatórios sobre resultados de busca e resumos de inteligência artificial. Já a Microsoft permite atualmente o controle por meio da tag NOARCHIVE e de ferramentas para bloquear URLs ou remover conteúdo no Bing Webmaster Tools, mas pretende adicionar suporte à preferência de não treinamento no robots.txt no nível do domínio ou do site no início de 2027. Até lá, a nova configuração da Cloudflare não transmite automaticamente essa preferência ao Bing.
O que muda na prática para os proprietários de sites?
A maioria dos clientes atuais não precisará tomar nenhuma medida imediata, pois a Cloudflare migrará as configurações atuais preservando seu efeito prático. No entanto, quem quiser bloquear completamente Applebot, Bingbot ou Googlebot, incluindo o acesso para fins de busca, terá de escolher Block em vez de Disallow AI Training. Já para novos domínios, a Cloudflare sugerirá configurações predefinidas diferentes conforme a dependência do site em relação à publicidade, porque bloquear visitas ou substituí-las por uma resposta gerada pode afetar o modelo de monetização.
A análise editorial da certi.news
A mudança efetiva aqui não é apenas a adição de uma regra ao robots.txt, mas a transferência da decisão de uma opção binária para uma política mais detalhada, que relaciona a identidade do rastreador à finalidade da visita. Isso é importante para os editores que querem manter a visibilidade nas buscas sem conceder autorização geral para o treinamento de modelos, mas não elimina a necessidade de verificar se cada operador realmente cumpre as preferências publicadas.
Os resumos de inteligência artificial continuam sendo uma questão diferente do treinamento: o resumo pode reduzir as visitas ao site, mas também pode encaminhar um número menor de usuários com maior intenção de compra. Por isso, até o início do próximo ano, a Cloudflare planeja disponibilizar um controle mais preciso sobre a quantidade de conteúdo que aparece nos resumos por meio de uma configuração centralizada, em vez de administrar a preferência junto a cada operador individualmente. A interoperabilidade dos padrões, incluindo ai-prefs, e o comportamento dos agentes usados em nome de seres humanos também continuam sendo questões em aberto.