A Together AI revelou uma nova inovação técnica chamada Together Compiler, um sistema avançado que utiliza agentes de programação de IA (AI Coding Agents) para assumir a tarefa de otimizar o código das unidades de processamento gráfico (GPU) que executam sua infraestrutura de inferência. Este sistema visa automatizar processos de ajuste de desempenho que costumavam levar dias ou semanas de trabalho manual exaustivo por parte dos engenheiros humanos.
Automação completa sob supervisão humana
O Together Compiler trabalha gerando, testando e otimizando kernels de GPU sem a necessidade de orientação direta dos engenheiros para cada experimento individual. A empresa explicou que o ciclo de otimização opera de forma totalmente autônoma, permitindo que o sistema alcance ganhos tangíveis de desempenho em apenas uma noite. No entanto, a Together AI enfatizou que segue uma abordagem de "humano no circuito" (human-in-the-loop), onde as avaliações finais e a implementação real no ambiente de produção permanecem sujeitas à aprovação de um engenheiro humano que revisa as alterações antes de serem adotadas.
O desafio da aceleração dos modelos de IA
Este passo surge em resposta ao grande desafio representado pelo ritmo acelerado de lançamento de novos modelos de IA. De acordo com dados da empresa, 80% do tráfego através da plataforma OpenRouter provém atualmente de modelos lançados apenas nos últimos três meses. Como cada modelo possui requisitos técnicos diferentes, o código otimizado para um modelo específico pode não funcionar com a mesma eficiência em outro, o que coloca uma pressão imensa sobre os engenheiros para acompanhar essas mudanças manualmente.
Um salto na velocidade de experimentação e desempenho
A Together AI conseguiu inovar em um método para acelerar significativamente o processo de teste; em vez de reiniciar o motor de inferência cada vez que o agente de programação altera o código, o Together Compiler carrega o novo código diretamente no motor enquanto ele está em execução. Esta medida reduziu o tempo de inicialização de cerca de 467 segundos para apenas 9 segundos, permitindo que o sistema realize 252 vezes mais experimentos de otimização em comparação com os sistemas atuais.
Em termos de resultados práticos, a empresa registrou uma melhoria na produtividade da inferência (Inference Throughput) de até 2,6 vezes em comparação com as configurações padrão publicadas, dependendo do tipo de modelo e do hardware utilizado. O sistema atende atualmente trilhões de tokens diariamente através da infraestrutura da empresa.
O que muda na prática para os desenvolvedores?
Para desenvolvedores e empresas que utilizam os serviços da Together AI, este desenvolvimento não significa necessariamente uma redução direta de preços, mas sim a obtenção de maior desempenho e eficiência pelo mesmo custo. Os benefícios práticos resumem-se nos seguintes pontos:
- Eficiência de hardware: Extração da potência máxima possível das GPUs disponíveis, reduzindo o desperdício de recursos.
- Velocidade de adaptação: Capacidade de executar modelos modernos com o mais alto desempenho possível assim que são lançados, sem esperar por longos ciclos de otimização manual.
- Confiabilidade de desempenho: Graças à realização de centenas de experimentos automatizados, o sistema chega a soluções de software que um engenheiro humano poderia não descobrir devido à falta de tempo.
O Together Compiler representa uma mudança importante na forma como a infraestrutura de IA é gerenciada, onde a IA não é mais apenas um produto final, mas tornou-se a ferramenta fundamental para otimizar o hardware e o software sobre os quais opera, fechando o ciclo técnico em direção a sistemas mais autônomos e auto-otimizáveis.