A Cloudflare lançou o recurso BotBase for Operators para oferecer aos operadores de robôs uma maneira mais clara de incluir seus robôs no diretório BotBase e acompanhar o status das solicitações após o envio. O novo recurso permite saber se a solicitação está em revisão, foi aceita ou foi rejeitada, além de exibir o motivo da rejeição ou qualquer alteração feita pela Cloudflare na classificação do robô.
A medida ocorre após a Cloudflare lançar um diretório pesquisável de robôs conhecidos dentro do painel de controle, juntamente com ferramentas que ajudam os proprietários de sites a entender como os rastreadores interagem com seu conteúdo. A empresa considera que o gerenciamento do tráfego automatizado não depende apenas das decisões dos proprietários dos sites, mas também exige que os operadores de robôs se identifiquem, expliquem como trabalham e mantenham a precisão de seus dados.
Espaço unificado para solicitações de inclusão
O formulário de envio de robôs ficava anteriormente em Manage Account → Configurations, o que tornava o processo mais associado à conta do que ao ecossistema de robôs. Agora, o acesso ao BotBase for Operators é feito pelo caminho Protect & Connect → Application Security → BotBase dentro do painel da Cloudflare, e a empresa afirma que todos os clientes podem acessá-lo.
A interface é dividida em três seções principais:
- Bots directory: navegar, pesquisar e filtrar os robôs monitorados pela Cloudflare.
- Submission form: enviar uma solicitação para incluir um novo robô.
- Submission history: acompanhar as solicitações enviadas pela conta.
A página do histórico de solicitações exibe três status principais: Waiting for review quando a solicitação é recebida e colocada na fila de revisão; Accepted após a aceitação do robô e sua inclusão no diretório; e Rejected quando a solicitação precisa de alterações. Neste último caso, são exibidos o motivo da rejeição e as etapas necessárias para reenviar a solicitação.
Editar os dados do robô e descrever seu comportamento
Agora o operador pode editar uma solicitação já enviada, em vez de criar uma nova inclusão ao alterar detalhes como o endpoint de uma lista de endereços IP ou a migração de uma lista de permissões de endereços IP para o uso de uma assinatura Web Bot Auth. Também é possível cancelar a solicitação enquanto ela estiver aguardando revisão. A Cloudflare recomenda manter esses dados atualizados, pois sua precisão contribui para que o robô obtenha e mantenha o status Verified, embora a decisão final sobre permitir o tráfego continue cabendo a cada proprietário de site.
O novo formulário de inclusão baseia-se no modelo de comportamento e uso de conteúdo apresentado pela Cloudflare em 1º de julho, em vez de obrigar o operador a escolher uma única classificação. O formulário solicita a definição de três aspectos:
- O que o robô faz, como indexar páginas, agir em nome do usuário, coletar dados, treinar modelos ou oferecer suporte a ferramentas de otimização para mecanismos de busca.
- Como ele usa o conteúdo que lê, especificando o nível de uso de acordo com o modelo Content Signals.
- A entidade que o opera: um operador direto que gerencia sua própria infraestrutura ou um intermediário que executa solicitações feitas por outro produto ou plataforma.
A Cloudflare explica que um robô que lê uma página para criar um trecho de pesquisa é diferente de um robô que armazena a página para treinar um modelo. A empresa cita como exemplo um sinal que pode incluir Content-Signal: search=yes, ai-train=no, use=reference, permitindo a indexação para pesquisa e a retenção como referência, mas não o treinamento de inteligência artificial.
O que muda na prática?
A Cloudflare também reformulou o processo de revisão para incluir verificações automatizadas, depois que o número anual de novas solicitações aumentou cerca de sete vezes desde 2023. Os sistemas verificam a possibilidade de duplicação do robô, a exclusividade do padrão do agente do usuário e a validade do método de verificação declarado. Eles podem obter uma lista de endereços IP e verificar o DNS reverso ou validar uma assinatura Web Bot Auth. Se a solicitação precisar de revisão humana, ela será encaminhada à equipe com a indicação do motivo da verificação, em vez de ser colocada em uma fila de espera sem descrição.
A atualização representa a transição do BotBase de um diretório voltado principalmente aos proprietários de sites para um espaço que também inclui os operadores de robôs. No entanto, o lançamento atual se concentra apenas na visibilidade; a declaração de propriedade e o gerenciamento da inclusão, bem como a compreensão de como os sites lidam com ela, estão planejados para depois, enquanto a ideia de criar um canal de diálogo entre operadores e proprietários de sites é um objetivo mais distante. Portanto, o BotBase não elimina as decisões individuais dos sites, mas fornece informações mais consistentes que podem servir de base para essas decisões.