L'équipe de recherche de JetBrains (JetBrains Research) a révélé une lacune fondamentale dans la manière dont les agents de programmation alimentés par l'intelligence artificielle sont évalués, affirmant que les critères actuels ne reflètent pas précisément la façon dont les développeurs interagissent avec ces outils dans de véritables environnements de travail. En analysant 4 782 sessions de travail de développeurs utilisant des environnements de développement intégrés (IDE), les chercheurs ont constaté que les modèles actuels sont testés dans des conditions idéales qui ne ressemblent pas à la complexité de la programmation quotidienne.
L'écart entre les critères d'évaluation et la réalité opérationnelle
L'étude a montré que des critères reconnus tels que SWE-Bench Pro reposent presque entièrement (à 93,8 %) sur des tâches de correction de bugs ou d'ajout de nouvelles fonctionnalités présentées dans un message unique et complet. Cependant, l'analyse de sessions de production réelles a révélé que moins de la moitié des demandes adressées par les développeurs aux agents de programmation concernent effectivement la correction de bugs ou l'ajout de fonctionnalités.
Le reste des demandes des développeurs se répartit en réalité sur diverses tâches comprenant :
- L'interrogation sur la structure du code et la compréhension du fonctionnement de certaines parties du projet.
- La planification des prochaines étapes du processus de développement.
- La revision de code (Code Review) et la refactorisation (Refactoring).
- L'exécution de commandes de programmation et le dépannage.
De plus, l'étude a révélé que la moitié des sessions réelles se composent d'un seul message, tandis que les sessions restantes s'étendent pour inclure des interactions multiples, où les exigences parviennent à l'agent de manière progressive et fragmentée, ce qui fait défaut au critère traditionnel SWE-Bench qui présente la tâche dans son intégralité au sein d'un message unique et soigné.
Le cadre SWE-TaskFlow : vers une simulation plus précise du comportement des utilisateurs
Pour remédier à cette lacune, JetBrains a introduit un nouveau cadre de travail appelé SWE-TaskFlow. Ce cadre ne vise pas à remplacer les critères existants, mais à les transformer pour les rendre plus réalistes grâce à trois mécanismes principaux :
- La division des tâches (Task Splitting) : une tâche de programmation unique est divisée en trois requêtes consécutives, de sorte que l'agent ne voie la deuxième requête qu'après l'achèvement de la première, testant ainsi sa capacité à gérer des exigences progressives.
- L'ajout de questions sur le dépôt (Repository Questions) : des questions sont générées pour exiger de l'agent qu'il explique des parties du code existant avant ou pendant l'exécution de la tâche, un comportement très courant chez les vrais développeurs.
- L'alignement du flux des tâches (Task Flow Alignment) : l'utilisation d'algorithmes pour optimiser la séquence et les types de messages afin de correspondre à la distribution des sessions réelles sur la base de la métrique TFAS créée par l'équipe.
Résultats des tests : le coût face à la précision
Les chercheurs ont testé le nouveau cadre sur plusieurs modèles avancés, notamment GPT-5.6 Luna, GPT-5.6 Terra et Gemini 3.7 Flash. Les résultats ont montré que la division des tâches en messages multiples entraînait une augmentation du coût d'exploitation de 2,0 à 2,6 fois par tâche. Cette augmentation reflète l'effort supplémentaire déployé par l'agent lorsque les exigences arrivent de manière fragmentée.
Sur le plan technique, les taux de réussite des modèles dans la résolution des tâches (Resolve Rates) n'ont pas été significativement affectés lors de la division des tâches, enregistrant une légère baisse de 4 à 5 points de pourcentage, ce qui indique que le plus grand défi réside dans l'augmentation de la consommation de ressources et de temps plutôt que dans la difficulté de la tâche elle-même.
Qu'est-ce qui change concrètement pour les développeurs et les entreprises ?
L'importance de cette recherche réside dans le déplacement de l'attention de l'industrie de l'IA, qui passe de la simple « résolution de problèmes de programmation » en une seule étape à la création d'« assistants interactifs » capables de gérer de longs dialogues et de comprendre l'évolution du contexte. Pour les entreprises développant des modèles, cela signifie la nécessité d'améliorer les capacités de mémoire à long terme des agents et leur aptitude à traiter des informations reçues successivement sans perdre l'objectif final de la tâche.
De même, SWE-TaskFlow ouvre la voie à une vérification par étapes de la qualité du travail de l'agent ; au lieu d'évaluer uniquement le résultat final, les développeurs peuvent désormais évaluer les performances de l'agent après chaque message, ce qui aide à détecter les déviations par rapport à la bonne voie dès le début du processus de programmation assisté par l'IA.