A equipe de engenharia da Cloudflare conseguiu reduzir o custo de operação da sua ferramenta de revisão de código baseada em inteligência artificial em 68%, ao mesmo tempo em que acelerou significativamente o tempo de revisão. Essa mudança ocorreu após um aumento acentuado nos custos nos meses anteriores, onde o custo médio por revisão saltou de 1,19 dólares em abril para cerca de 2,46 dólares no final de agosto, sem que houvesse mudanças estruturais fundamentais inicialmente.
As análises internas realizadas pela equipe mostraram que o aumento dos custos não foi causado apenas pelo volume de tarefas, mas pelo movimento em direção ao uso de modelos mais capazes e maiores, como os modelos da Anthropic, especificamente o uso do modelo Claude Opus 4.7 para revisar os padrões internos do Codex. Essa mudança levou a um aumento de mais de três vezes no consumo de tokens, atingindo uma média de cerca de 2,99 milhões de tokens por revisão, o que aumentou a carga financeira, apesar das taxas mais altas de utilização de cache de solicitações (Prompt Caching).
O que mudou na prática para reduzir os custos?
A empresa dividiu a taxa de melhorias alcançadas e a economia financeira em dois aspectos principais:
- Cerca de 40% da economia total veio de melhorias diretas no código do programador e sua atualização para a segunda versão, OpenCode v2.
- A porcentagem restante foi alcançada através da experimentação de diferentes modelos de inteligência artificial e do equilíbrio dos níveis de esforço necessários para cada tarefa de revisão.
Antes de adotar a segunda versão completamente, a empresa submeteu o sistema a testes rigorosos, executando-o lado a lado com a primeira versão em repositórios de sombra (Shadow Mode), onde demonstrou uma correspondência de 98% nas decisões de aprovação, o que permitiu a transição completa para a nova versão, que conclui as revisões completas cerca de 13% mais rápido.
Por que esta notícia é importante?
Esta conquista destaca os desafios econômicos e operacionais enfrentados pelas organizações ao implantar agentes de inteligência artificial em ambientes de produção de software em larga escala. A expansão do uso de grandes modelos de linguagem consome uma quantidade enorme de contexto e tokens repetidos através de múltiplas chamadas dentro de uma única sessão. Ao reengenheirar a forma como a ferramenta interage com os modelos e otimizar a eficiência do cache e o roteamento de tarefas, a Cloudflare provou que a otimização de custos e desempenho pode ser alcançada em conjunto, sem sacrificar a qualidade da revisão de código.