Das Forschungsteam von JetBrains (JetBrains Research) hat eine fundamentale Lücke bei der Bewertung von KI-gestützten Programmieragenten aufgedeckt und betont, dass die aktuellen Standards die Art und Weise, wie Entwickler in realen Arbeitsumgebungen mit diesen Tools interagieren, nicht genau widerspiegeln. Durch die Analyse von 4.782 Entwicklungssitzungen von Entwicklern, die Integrated Development Environments (IDEs) nutzen, stellten die Forscher fest, dass aktuelle Modelle unter idealen Bedingungen getestet werden, die der komplexen Realität der täglichen Programmierung nicht ähneln.
Die Lücke zwischen Bewertungsstandards und praktischer Realität
Die Studie zeigte, dass bekannte Benchmarks wie SWE-Bench Pro fast ausschließlich (zu 93,8 %) auf Fehlerbehebungsaufgaben oder das Hinzufügen neuer Funktionen basieren, die in einer einzigen, voll detaillierten Nachricht übermittelt werden. Die Analyse echter Produktionssitzungen ergab jedoch, dass weniger als die Hälfte der Anfragen von Entwicklern an Programmieragenten tatsächlich die Behebung von Fehlern oder das Hinzufügen von Funktionen betrifft.
Der Rest der Entwickleranfragen verteilt sich in der Realität auf verschiedene Aufgaben, darunter:
- Abfragen zur Codestruktur und Verstehen der Funktionsweise bestimmter Projektteile.
- Planung der nächsten Schritte im Entwicklungsprozess.
- Code-Review und Refactoring.
- Ausführen von Programmierbefehlen und Fehlerbehebung (Troubleshooting).
Darüber hinaus ergab die Untersuchung, dass die Hälfte der echten Sitzungen aus einer einzigen Nachricht besteht, während sich die verbleibenden Sitzungen über mehrere Interaktionen erstrecken, bei denen die Anforderungen schrittweise und fragmentiert beim Agenten angehen – ein Aspekt, der dem traditionellen SWE-Bench-Standard fehlt, welcher die gesamte Aufgabe in einer einzigen, ausgefeilten Nachricht präsentiert.
Das SWE-TaskFlow-Framework: Hin zu einer präziseren Simulation des Nutzerverhaltens
Um dieses Defizit zu beheben, hat JetBrains ein neues Framework namens SWE-TaskFlow vorgestellt. Dieses Framework zielt nicht darauf ab, bestehende Benchmarks zu ersetzen, sondern sie durch drei Hauptmechanismen realistischer zu gestalten:
- Task Splitting: Eine einzelne Programmieraufgabe wird in drei aufeinanderfolgende Anfragen aufgeteilt, sodass der Agent die zweite Anfrage erst sieht, nachdem die erste erledigt ist, was seine Fähigkeit testet, mit schrittweisen Anforderungen umzugehen.
- Repository Questions: Es werden Fragen generiert, die vom Agenten verlangen, Teile des aktuellen Codes vor oder während der Aufgabenausführung zu erklären – ein bei echten Entwicklern sehr gängiges Verhalten.
- Task Flow Alignment: Einsatz von Algorithmen zur Optimierung der Sequenz und der Typen von Nachrichten, um die Verteilung realer Sitzungen basierend auf dem vom Team entwickelten TFAS-Metrik zu entsprechen.
Experimentelle Ergebnisse: Kosten im Vergleich zur Genauigkeit
Die Forscher testeten den neuen Rahmen an mehreren fortgeschrittenen Modellen, darunter GPT-5.6 Luna, GPT-5.6 Terra und Gemini 3.7 Flash. Die Ergebnisse zeigten, dass die Aufteilung von Aufgaben in mehrere Nachrichten die Betriebskosten um das 2,0- bis 2,6-Fache pro Aufgabe erhöhte. Dieser Anstieg spiegelt den zusätzlichen Aufwand wider, den der Agent erbringt, wenn Anforderungen fragmentiert ankommen.
Aus technischer Sicht wurden die Erfolgsraten der Modelle beim Lösen von Aufgaben (Resolve Rates) bei der Aufgabenaufteilung nicht wesentlich beeinträchtigt; sie sanken leicht um 4 bis 5 Prozentpunkte, was darauf hindeutet, dass die größte Herausforderung in einem erhöhten Ressourcen- und Zeitverbrauch liegt und nicht in der Schwierigkeit der Aufgabe selbst.
Was ändert sich praktisch für Entwickler und Unternehmen?
Die Bedeutung dieser Forschung liegt darin, den Fokus der KI-Branche von der bloßen „Lösung von Programmierproblemen“ in einem einzigen Schritt hin zum Aufbau „interaktiver Assistenten“ zu verlagern, die in der Lage sind, lange Dialoge zu verwalten und den sich ändernden Kontext zu verstehen. Für Unternehmen, die Modelle entwickeln, bedeutet dies die Notwendigkeit, die Langzeitgedächtnisfähigkeiten von Agenten und deren Fähigkeit zur Verarbeitung nacheinander eingehender Informationen zu verbessern, ohne das Endziel der Aufgabe aus den Augen zu verlieren.
Darüber hinaus öffnet SWE-TaskFlow die Tür für eine phasenweise Überprüfung der Arbeitsqualität des Agenten: Anstatt nur das Endergebnis zu bewerten, können Entwickler die Leistung des Agenten nun nach jeder Nachricht bewerten, was dabei hilft, Abweichungen vom richtigen Weg frühzeitig im KI-gestützten Programmierprozess zu erkennen.