El equipo de investigación de "JetBrains" (JetBrains Research) reveló una brecha fundamental en cómo se evalúan los agentes de programación basados en inteligencia artificial, afirmando que los estándares actuales no reflejan con precisión la forma en que los desarrolladores interactúan con estas herramientas en entornos de trabajo reales. Al analizar 4.782 sesiones de trabajo de desarrolladores que utilizan entornos de desarrollo integrados (IDEs), los investigadores descubrieron que los modelos actuales se prueban en condiciones ideales que no se asemejan a la compleja realidad de la programación diaria.
La brecha entre los estándares de evaluación y la realidad práctica
El estudio demostró que estándares conocidos como (SWE-Bench Pro) dependen casi por completo (en un 93,8 %) de tareas de corrección de errores o adición de nuevas características que se presentan en un solo mensaje con todos los detalles. Sin embargo, el análisis de las sesiones de producción reales reveló que menos de la mitad de lo que los desarrolladores solicitan a los agentes de programación se relaciona realmente con corregir errores o añadir funciones.
El resto de las solicitudes de los desarrolladores se distribuye en realidad en diversas tareas que incluyen:
- Consultar la estructura del código y comprender cómo funcionan ciertas partes del proyecto.
- Planificar los próximos pasos en el proceso de desarrollo.
- Revisión de código (Code Review) y refactorización (Refactoring).
- Ejecución de comandos de programación y resolución de problemas.
Además, la investigación encontró que la mitad de las sesiones reales consisten en un solo mensaje, mientras que las sesiones restantes se extienden para incluir interacciones múltiples, donde los requisitos llegan al agente de forma gradual y fragmentada, lo cual carece el estándar (SWE-Bench) tradicional que presenta la tarea completa en un solo mensaje pulido.
El marco SWE-TaskFlow: hacia una simulación más precisa del comportamiento del usuario
Para abordar esta deficiencia, "JetBrains" presentó un nuevo marco de trabajo llamado (SWE-TaskFlow). Este marco no pretende reemplazar los estándares actuales, sino transformarlos para que sean más realistas a través de tres mecanismos principales:
- División de tareas (Task Splitting): Una sola tarea de programación se divide en tres solicitudes consecutivas, de modo que el agente no ve la segunda solicitud hasta que se completa la primera, probando su capacidad para lidiar con requisitos graduales.
- Adición de preguntas del repositorio (Repository Questions): Se generan preguntas que requieren que el agente explique partes del código actual antes o durante la ejecución de la tarea, un comportamiento muy común entre los desarrolladores reales.
- Alineación del flujo de tareas (Task Flow Alignment): El uso de algoritmos para mejorar la secuenciación y los tipos de mensajes para que coincidan con la distribución de las sesiones reales basada en la métrica (TFAS) inventada por el equipo.
Resultados de los experimentos: costo frente a precisión
Los investigadores probaron el nuevo marco en varios modelos avanzados, incluidos (GPT-5.6 Luna), (GPT-5.6 Terra) y (Gemini 3.7 Flash). Los resultados mostraron que dividir las tareas en múltiples mensajes aumentó el costo operativo entre 2,0 y 2,6 veces por tarea. Este aumento refleja el esfuerzo adicional que realiza el agente cuando los requisitos llegan de forma fragmentada.
Desde el punto de vista técnico, las tasas de éxito de los modelos en la resolución de tareas (Resolve Rates) no se vieron afectadas significativamente al dividir las tareas, disminuyendo en un margen leve de entre 4 y 5 puntos porcentuales, lo que indica que el mayor desafío radica en el mayor consumo de recursos y tiempo, y no en la dificultad de la tarea en sí.
¿Qué cambia prácticamente para los desarrolladores y las empresas?
La importancia de esta investigación radica en desplazar el foco de la industria de la inteligencia artificial de simplemente "resolver problemas de programación" en un solo paso, a construir "asistentes interactivos" capaces de gestionar conversaciones largas y comprender contextos cambiantes. Para las empresas que desarrollan modelos, esto significa la necesidad de mejorar las capacidades de memoria a largo plazo de los agentes y su capacidad para procesar información que llega sucesivamente sin perder el objetivo final de la tarea.
Asimismo, (SWE-TaskFlow) abre la puerta a la posibilidad de verificación por etapas de la calidad del trabajo del agente; en lugar de evaluar solo el resultado final, los desarrolladores ahora pueden evaluar el rendimiento del agente después de cada mensaje, lo que ayuda a detectar desviaciones del rumbo correcto en una etapa temprana del proceso de programación asistida por inteligencia artificial.