O recurso Transformers já está disponível de forma geral no serviço Logpush da Cloudflare, permitindo que as equipes processem seus registros antes de exportá-los para o destino final. Os usuários podem escrever consultas SQL para filtrar registros, ocultar partes de dados sensíveis e adicionar, renomear, excluir ou organizar campos dentro de uma estrutura aninhada.
O recurso é voltado para equipes de monitoramento e segurança que exportam registros da Cloudflare para sistemas de gerenciamento de informações e eventos de segurança (SIEM), plataformas de análise e armazenamentos de objetos. Em vez de executar um serviço separado para processar os registros depois que eles chegam, o Logpush realiza a transformação no próprio fluxo de exportação.
O que muda na prática?
O usuário define um Transformer personalizado para um conjunto de dados específico no Logpush. Uma cláusula WHERE é aplicada para remover registros indesejados, enquanto a cláusula SELECT determina quais campos aparecerão no registro exportado. Os resultados são armazenados no formato NDJSON, assim como os registros originais, e o recurso não é uma ferramenta para transformar o formato de serialização em si.
É possível, por exemplo, excluir solicitações de verificações de integridade e tráfego interno, ocultar a parte final de um endereço IP, padronizar nomes de campos entre vários provedores de CDN e adicionar campos estáticos, como o nome do provedor ou um indicador que identifique erros do servidor. A filtragem antes da exportação ajuda a reduzir o volume de dados pelos quais as equipes pagam para exportar, receber e armazenar, apenas para descartá-los posteriormente.
Execução dentro do fluxo de exportação
A Cloudflare escolheu executar as consultas dentro do serviço de entrega Bufstream, em vez de depender de um serviço de rede externo. Segundo a empresa, executar WebAssembly por meio do Cloudflare Workers acrescentaria uma conexão de rede ao fluxo do Logpush, o que poderia causar tempos limite e novas tentativas que afetariam o tempo de entrega e a taxa de transferência.
O Transformers usa o mecanismo Apache DataFusion, escrito em Rust, junto com o Apache Arrow para representar os dados em colunas tipadas na memória. Em um teste realizado pela Cloudflare com um lote sintético de 5.000 registros http_requests, a execução de um Transformer pré-configurado levou cerca de 3 milissegundos em uma única thread Go, o equivalente a aproximadamente 1,6 milhão de registros por segundo.
O Bufstream recebe lotes compactados do Logpush, transforma os registros qualificados em um Arrow RecordBatch e os encaminha ao DataFusion por meio do Arrow IPC e da interface de ligação entre Go e Rust. Após a execução da consulta, o serviço converte os resultados novamente para NDJSON, depois os agrupa, compacta e envia ao destino especificado.
Controles de falhas e gerenciamento
O Transformers opera segundo o princípio de fail closed: se a transformação não puder ser executada, o Bufstream não envia o lote em seu formato bruto nem libera o ponto de entrega. Em vez disso, ele tenta novamente de forma progressiva, informa o erro e pode desativar os trabalhos que permanecem em estado de falha por muito tempo, para que não consumam recursos dos trabalhos saudáveis.
As transformações podem ser criadas, visualizadas em prévia e gerenciadas pelo Transformer Studio no painel da Cloudflare ou por meio da API. Cada atualização também cria uma nova versão, e a tela Transformer Health fornece indicadores sobre transformações bem-sucedidas e malsucedidas, o volume de dados antes e depois do processamento e a duração da execução.
Por que esta notícia é importante?
O principal valor não está apenas em adicionar SQL a um serviço de registros, mas em transferir as decisões de redução, padronização e ocultação de dados para um ponto anterior à exportação. Isso pode reduzir a dependência das equipes de camadas de processamento personalizadas, mas não elimina a necessidade de testar as consultas e revisar os esquemas de dados, especialmente porque uma falha do Transformer impede o envio do lote, em vez de encaminhar uma versão não processada.
O Transformers está disponível nos planos Free, Pro, Business e Enterprise. Os detalhes de configuração e preços continuam sujeitos à documentação atual da Cloudflare.