A Cloudflare anunciou melhorias na experiência de uso do Cloudflare AI Search para facilitar a criação de um mecanismo de busca privado para arquivos e sites pertencentes aos usuários, permitindo que agentes de inteligência artificial acessem dados atualizados e forneçam respostas melhores. Antes, o processo exigia reunir vários componentes da plataforma Cloudflare, como Workers AI, AI Gateway, Vectorize, R2 e Browser Run, enquanto o AI Search agora conecta esses componentes automaticamente.
O serviço está disponível para uso hoje e é destinado a desenvolvedores que desejam disponibilizar dados estruturados e não estruturados para seus agentes, desde arquivos individuais até sites. Atualmente, a fonte de dados deve ser um domínio existente na conta da Cloudflare, embora a empresa planeje disponibilizar posteriormente métodos adicionais de verificação de propriedade.
Indexação de sites e endpoints públicos
As atualizações incluem a possibilidade de adicionar sites que não possuem um sitemap, por meio da opção de análise “Discover”, que encontra páginas seguindo links. Os usuários também podem indexar um conjunto de fontes de dados em um único namespace e, então, obter dois endpoints públicos, /search e /mcp, para pesquisar em várias instâncias ou sites sem autenticação.
A Cloudflare também permite colocar um domínio personalizado sobre os endpoints públicos, como search.example.com/mcp, para personalizar o endereço e a marca do serviço. Quando é necessário tornar a busca privada, é possível adicionar o Cloudflare Access na frente do domínio, exigindo login para o acesso e limitando seu uso a pessoas ou agentes autorizados.
A empresa também oferece um complemento do AI Search para sites EmDash, um sistema de gerenciamento de conteúdo de código aberto, a fim de adicionar busca semântica ao conteúdo do site. O AI Search utiliza uma busca híbrida que combina busca semântica e busca por palavras-chave, tornando-o adequado tanto para perguntas abertas quanto para encontrar nomes ou termos específicos.
Uso do serviço no Cloudflare Dev Stack MCP
A Cloudflare apresentou uma forma de usar o AI Search no servidor Cloudflare Dev Stack MCP, disponível para testes por meio do AI Playground. O servidor reúne documentação atualizada e acompanhada de referências do ecossistema de desenvolvedores da Cloudflare, ajudando os agentes de programação a depender de informações mais recentes em vez de dados de treinamento antigos.
A empresa criou uma instância separada para cada uma de suas superfícies, incluindo a documentação, o blog, a documentação de APIs, a comunidade, Astro, Vite, Vitest, Hono, Replicate e OpenNext, e depois as reuniu em uma única busca por meio de um namespace compartilhado. Isso pode ser feito através de um Worker ao integrar a busca a um aplicativo ou servidor MCP existente, ou usando diretamente os endpoints públicos, sem escrever código nem implantar um serviço adicional.
O servidor também pode ser conectado a agentes de programação por meio de um endereço MCP, para obter respostas atuais e fundamentadas em fontes sobre a criação de aplicativos na plataforma Cloudflare. A Cloudflare já utiliza o AI Search na busca de seu blog, na documentação para desenvolvedores e no site Cloudflare.com, além de sua integração ao site do blog criado com EmDash.
Preços experimentais
O AI Search continua gratuito durante a fase de testes beta, e a cobrança ainda não foi ativada. A Cloudflare afirma que notificará os clientes antes do início da cobrança, enquanto os preços atualmente exibidos ainda podem mudar antes da disponibilidade geral.
- Consumo básico de indexação: US$ 0,75 por milhão de tokens, com uma cota gratuita de 5 milhões de tokens por mês em todos os planos Workers.
- Processamento de imagens: custo adicional de US$ 0,50 por milhão de tokens.
- Dados armazenados: US$ 2 por gigabyte por mês, com 10 gigabytes gratuitos.
- Consulta semântica, incluindo busca híbrida e vetorial: US$ 0,75 por mil consultas, com 2.000 consultas gratuitas por mês.
- Busca de texto completo: US$ 0,10 por mil consultas.
As operações de incorporação e reclassificação de resultados são gratuitas quando são usados modelos padrão ou modelos selecionados do catálogo do Workers AI, enquanto os modelos de terceiros são cobrados separadamente. A Cloudflare esclarece que a geração de respostas e a reformulação de consultas são etapas opcionais e são cobradas de acordo com o modelo do Workers AI escolhido pelo usuário, ou podem utilizar créditos do AI Gateway com qualquer modelo ou provedor.
O AI Search segue as políticas de robôs, pois usa o Browser Run para rastreamento, identifica-se com uma identidade de robô independente chamada Cloudflare-AI-Search e segue o arquivo robots.txt e os controles de robôs dos sites.