A equipe de pesquisa da "JetBrains Research" revelou uma falha fundamental na forma como os agentes de programação baseados em inteligência artificial são avaliados, afirmando que os benchmarks atuais não refletem com precisão a maneira como os desenvolvedores interagem com essas ferramentas em ambientes de trabalho reais. Ao analisar 4.782 sessões de trabalho de desenvolvedores que utilizam ambientes de desenvolvimento integrados (IDEs), os pesquisadores descobriram que os modelos atuais são testados em condições ideais que não se parecem com a realidade complexa da programação diária.
A lacuna entre os benchmarks de avaliação e a realidade prática
O estudo mostrou que benchmarks famosos como o (SWE-Bench Pro) dependem quase inteiramente (93,8%) de tarefas de correção de bugs ou adição de novos recursos apresentadas em uma única mensagem totalmente detalhada. No entanto, a análise de sessões de produção reais revelou que menos da metade das solicitações feitas pelos desenvolvedores aos agentes de programação refere-se efetivamente à correção de bugs ou adição de recursos.
O restante das solicitações dos desenvolvedores distribui-se, na prática, em diversas tarefas, incluindo:
- Consultar a estrutura do código e entender como funcionam certas partes do projeto.
- Planejar os próximos passos no processo de desenvolvimento.
- Revisão de código (Code Review) e refatoração (Refactoring).
- Executar comandos de programação e solucionar problemas.
Além disso, a pesquisa descobriu que metade das sessões reais consiste em uma única mensagem, enquanto as sessões restantes estendem-se para incluir interações múltiplas, onde os requisitos chegam ao agente de forma gradual e fragmentada, o que falta no benchmark tradicional (SWE-Bench), que apresenta a tarefa completa em uma única mensagem refinada.
Estrutura SWE-TaskFlow: Rumo a uma simulação mais precisa do comportamento do usuário
Para resolver essa deficiência, a "JetBrains" apresentou uma nova estrutura chamada (SWE-TaskFlow). Essa estrutura não visa substituir os benchmarks atuais, mas torná-los mais realistas por meio de três principais mecanismos:
- Divisão de tarefas (Task Splitting): Uma única tarefa de programação é dividida em três solicitações consecutivas, de modo que o agente só veja a segunda solicitação após a conclusão da primeira, testando sua capacidade de lidar com requisitos graduais.
- Adição de perguntas do repositório (Repository Questions): São geradas perguntas que exigem que o agente explique partes do código atual antes ou durante a execução da tarefa, um comportamento muito comum entre desenvolvedores reais.
- Alinhamento do fluxo de tarefas (Task Flow Alignment): Uso de algoritmos para otimizar a sequência de mensagens e tipos para corresponder à distribuição de sessões reais com base na métrica (TFAS) criada pela equipe.
Resultados dos testes: Custo versus precisão
Os pesquisadores testaram a nova estrutura em vários modelos avançados, incluindo (GPT-5.6 Luna), (GPT-5.6 Terra) e (Gemini 3.7 Flash). Os resultados mostraram que a divisão de tarefas em várias mensagens levou a um aumento no custo operacional de 2,0 a 2,6 vezes por tarefa. Esse aumento reflete o esforço adicional feito pelo agente quando os requisitos chegam de forma fragmentada.
Do ponto de vista técnico, as taxas de sucesso dos modelos na resolução de tarefas (Resolve Rates) não foram significativamente afetadas ao dividir as tarefas, caindo por uma margem leve entre 4 a 5 pontos percentuais, indicando que o maior desafio reside no aumento do consumo de recursos e tempo, e não na dificuldade da tarefa em si.
O que muda na prática para desenvolvedores e empresas?
A importância desta pesquisa reside em desviar o foco da indústria de inteligência artificial de simplesmente "resolver problemas de programação" em uma única etapa, para a construção de "assistentes interativos" capazes de gerenciar diálogos longos e compreender o contexto em mudança. Para as empresas que desenvolvem modelos, isso significa a necessidade de aprimorar as capacidades de memória de longo prazo dos agentes e sua capacidade de processar informações recebidas consecutivamente sem perder o objetivo final da tarefa.
O (SWE-TaskFlow) também abre portas para a possibilidade de verificação em etapas da qualidade do trabalho do agente; em vez de avaliar apenas o resultado final, os desenvolvedores agora podem avaliar o desempenho do agente após cada mensagem, ajudando a detectar desvios do caminho correto logo no início do processo de programação auxiliado por inteligência artificial.