A ferramenta de desenvolvimento e inteligência artificial local Junie Local, desenvolvida pela JetBrains, registrou uma melhoria significativa de desempenho em dispositivos Mac equipados com processadores M5 Max; a velocidade de geração de código aumentou para cerca de 70 tokens por segundo, em comparação com cerca de 40 tokens na versão anterior, com a possibilidade de atingir picos rápidos de até 107 tokens por segundo.
Esta melhoria resultou de duas mudanças principais introduzidas na arquitetura da ferramenta: a adoção do novo motor de inferência Splash e a integração do modelo de rascunho DFlash2, o que duplicou a eficiência geral em comparação com a combinação anterior da tecnologia MTP com o motor MLX-VLM.
O que mudou na prática no desempenho da ferramenta?
A JetBrains substituiu o motor MLX-VLM anterior pelo motor Splash, desenvolvido pela Inco AI e otimizado especificamente para modelos Qwen. Este motor permite a verificação de oito tokens rascunhados de uma só vez em cada etapa de decodificação, enquanto o custo de atenção através do contexto é reduzido significativamente para garantir que a velocidade de decodificação não diminua à medida que o tamanho do contexto aumenta. Além disso, foram integradas otimizações de operações int8 específicas para os chips M5 dentro do novo motor.
No que diz respeito ao modelo de rascunho, a ferramenta utilizou o modelo DFlash2, personalizado para o modelo Qwen 3.8-27B. Para evitar o problema de excesso de pensamento que retarda a geração, a empresa adotou a versão Qwen3.8-3.6-27B-blend, treinada usando a plataforma SpecForge em caminhos de programação e códigos reais, o que aumentou a taxa de aceitação e a velocidade do agente de programação.
Disponibilidade e requisitos técnicos
- Velocidade e geração: A velocidade de geração saltou de ~40 para ~70 tokens por segundo, e a fase de pré-preenchimento (prefill) melhorou para atingir 1200 tokens por segundo, contra 850 anteriormente.
- Consumo de memória: A ferramenta requer cerca de 24 GB de memória RAM ao lidar com um contexto de 100 mil tokens.
- Dispositivos suportados: Os usuários agora podem executar a ferramenta em computadores Mac equipados com processadores M4 ou mais recentes, desde que possuam pelo menos 64 GB de memória RAM, observando que a fase de pré-preenchimento é cerca de quatro vezes mais lenta nos chips M4 em comparação com os M5.
Os usuários podem atualizar a ferramenta através do comando de atualização direta na interface de linha de comando do Junie, ou realizar a instalação completa usando o script dedicado fornecido pela empresa, além da disponibilidade dos modelos DFlash2 para download através da plataforma HuggingFace.