A Cloudflare afirma que a Internet já não serve um único público humano. Depois de os sites dependerem de visitantes que liam conteúdos, viam anúncios e pagavam subscrições, os programas que atuam em nome dos utilizadores tornaram-se um segundo público em rápido crescimento. Segundo os números da empresa, a média de pedidos HTTP processados pela rede aumentou de 63 milhões de pedidos por segundo no final de 2024 para cerca de 115 milhões atualmente, com picos superiores a 150 milhões de pedidos, enquanto os pedidos diários provenientes de agentes de inteligência artificial cresceram mais de 1700% num ano.
A Cloudflare acrescenta que, pela primeira vez este ano, mais de metade do tráfego da Internet não era humano. No entanto, a empresa distingue entre três tipos diferentes de tráfego automatizado: crawlers de pesquisa, crawlers de treino de modelos e agentes que obtêm informações ou executam uma ação a pedido de uma pessoa. Esta distinção é importante porque bloquear um agente que reserva uma mesa ou compara ofertas de seguros pode significar bloquear o cliente humano por detrás dele, enquanto um crawler de treino pode consumir conteúdos sem encaminhar um visitante ou gerar receita direta.
Das visitas ao uso pago
A Cloudflare considera que o modelo tradicional da web foi perturbado pelos motores de resposta que resumem páginas de sites sem enviar o leitor para elas. Assim, os sites suportam os custos de largura de banda, computação e capacidade dos servidores de origem, sem necessariamente obter uma visualização de anúncio, uma subscrição ou uma referência. A empresa afirma que o tráfego humano diminuiu em alguns setores, como o retalho, o software e os serviços de tecnologia da informação e os serviços financeiros, até 40% em menos de um ano.
Por isso, a Cloudflare lançou dois modelos experimentais de monetização. O primeiro é o Pay Per Use, que permite ao editor optar por participar e receber uma compensação quando o seu conteúdo é efetivamente utilizado, em vez de ser pago apenas pelo seu rastreamento. A empresa afirma que o comprador define o que é considerado uso e o valor desse uso, enquanto o editor recebe relatórios sobre o conteúdo utilizado, o momento do uso e a receita, podendo também receber dados sobre as perguntas que apresentaram o seu trabalho.
Já o Monetization Gateway destina-se a serviços, dados, interfaces de programação e ferramentas que podem ser tarifados por pedido, consulta ou token. No teste fechado, disponível para clientes elegíveis nos Estados Unidos, as regras podem devolver uma resposta HTTP 402 Payment Required utilizando o protocolo aberto x402, para que o agente pague diretamente ao vendedor. A Cloudflare afirma que o seu AI Gateway utiliza o sistema para pagar os custos de inferência, tornando a empresa uma utilizadora inicial da tecnologia.
Visibilidade sobre os agentes e definição das suas condições
A empresa oferece ferramentas como AI Crawl Control, Business Insights e BotBase para mostrar quem rastreia o site e que endereços solicita. O Web Bot Auth também permite assinar criptograficamente os pedidos dos agentes; a Cloudflare afirma que mais de 500 mil milhões de pedidos de robôs autenticados passam semanalmente pela sua rede. Em julho, a empresa substituiu uma única chave para bloquear robôs de inteligência artificial por controlos separados para pesquisa, agentes e treino, disponíveis em todos os planos, incluindo os gratuitos.
Em 15 de setembro, a Cloudflare lançou a opção Disallow AI Training para manter o site indexável nas pesquisas, orientando o operador a não utilizar os dados para treino. A empresa afirma que Apple, Google e Microsoft se comprometeram a respeitar esta opção, enquanto o Cloudflare Radar acompanha publicamente o comportamento dos crawlers. A empresa também disponibiliza Markdown for Agents para reduzir elementos visuais desnecessários para os agentes, e WebMCP para apresentar ações diretamente, em vez de obrigar o agente a adivinhar botões e interfaces.
Por que razão esta evolução é importante?
A mudança efetiva não é apenas o aumento do número de robôs, mas a passagem do agente de consumidor de conteúdos a parte capaz de comprar um serviço ou executar uma transação. Isto obriga os proprietários de sites a conhecer a identidade do visitante automatizado, distinguir a sua finalidade, estabelecer condições diferentes para pesquisa, treino e uso comercial, e depois medir o valor e liquidá-lo financeiramente.
Ainda assim, a Cloudflare apresenta estes modelos como apostas experimentais, e não como um padrão estável. A definição de «uso» varia entre um motor de pesquisa que cita uma fonte, um agente de pesquisa que reproduz um parágrafo e um agente de compras que conclui uma aquisição. Além disso, os preços e a deteção ainda não foram definidos, e o artigo não esclarece como os relatórios de uso serão auditados ou como serão resolvidas as disputas sobre valor e pagamentos. A questão da concentração da infraestrutura também continua em aberto: a Cloudflare defende padrões como x402 e Web Bot Auth, mas continua a ser uma entidade que fornece uma parte significativa das ferramentas de visibilidade, identidade e cobrança.
A empresa afirma que mais de 20% da web está por detrás da sua rede e que cerca de 80% das principais empresas de inteligência artificial a utilizam. Aposta em ser uma camada comum para a gestão de identidade, medição, preços e liquidação, deixando a decisão final aos proprietários dos domínios. O sucesso desta visão dependerá de os agentes e editores aceitarem estes mecanismos abertos e da capacidade do mercado de transformar as visitas automatizadas de um custo não pago num uso que possa ser medido e tarifado.