Исследовательская команда компании JetBrains (JetBrains Research) выявила фундаментальный пробел в том, как оцениваются программные агенты на базе искусственного интеллекта, подчеркнув, что существующие стандарты не отражают в полной мере то, как разработчики взаимодействуют с этими инструментами в реальных рабочих средах. Проанализировав 4782 сессии разработчиков, использующих интегрированные среды разработки (IDE), исследователи обнаружили, что текущие модели тестируются в идеальных условиях, которые не похожи на сложную реальность повседневного программирования.
Разрыв между стандартами оценки и практической реальностью
Исследование показало, что популярные стандарты, такие как SWE-Bench Pro, почти полностью (на 93,8%) опираются на задачи по исправлению ошибок или добавлению новых функций, которые подаются в виде одного полностью детализированного сообщения. Тем не менее, анализ реальных производственных сессий показал, что менее половины запросов разработчиков к программным агентам фактически связаны с исправлением багов или добавлением функций.
Остальные запросы разработчиков в реальности распределяются по различным задачам, включая:
- Запросы о структуре кода и понимание того, как работают определенные части проекта.
- Планирование следующих шагов в процессе разработки.
- Проверка кода (Code Review) и рефакторинг (Refactoring).
- Выполнение команд программирования и устранение неполадок.
Кроме того, исследование показало, что половина реальных сессий состоит из одного сообщения, в то время как остальные сессии охватывают множество взаимодействий, где требования поступают к агенту постепенно и фрагментарно. Именно этого не хватает традиционному стандарту SWE-Bench, который преподносит задачу целиком в одном отшлифованном сообщении.
Фреймворк SWE-TaskFlow: к более точному моделированию поведения пользователя
Для устранения этого недостатка компания JetBrains представила новый фреймворк под названием SWE-TaskFlow. Этот фреймворк не стремится заменить существующие стандарты, а направлен на то, чтобы сделать их более реалистичными с помощью трех основных механизмов:
- Разделение задач (Task Splitting): Единая задача программирования разбивается на три последовательных запроса, причем агент видит второй запрос только после выполнения первого, что проверяет его способность справляться с постепенно возрастающими требованиями.
- Добавление вопросов по репозиторию (Repository Questions): Генерируются вопросы, требующие от агента объяснения частей текущего кода до или во время выполнения задачи, что является весьма распространенным поведением среди реальных разработчиков.
- Выравнивание потока задач (Task Flow Alignment): Использование алгоритмов для оптимизации последовательности и типов сообщений в соответствии с распределением реальных сессий на основе метрики TFAS, созданной командой.
Результаты экспериментов: стоимость против точности
Исследователи протестировали новый фреймворк на нескольких передовых моделях, включая GPT-5.6 Luna, GPT-5.6 Terra и Gemini 3.7 Flash. Результаты показали, что разделение задач на несколько сообщений привело к увеличению операционных затрат в среднем в 2,0–2,6 раза на каждую задачу. Это увеличение отражает дополнительные усилия, прилагаемые агентом, когда требования поступают фрагментарно.
С технической точки зрения показатели успешности моделей при решении задач (Resolve Rates) существенно не пострадали при разделении задач, снизившись лишь на незначительную величину от 4 до 5 процентных пунктов. Это указывает на то, что главная трудность заключается в повышенном потреблении ресурсов и времени, а не в сложности самой задачи.
Что меняется на практике для разработчиков и компаний?
Важность этого исследования заключается в смещении фокуса индустрии искусственного интеллекта с простого «решения задач программирования» за один шаг на создание «интерактивных помощников», способных управлять длинным диалогом и понимать меняющийся контекст. Для компаний-разработчиков моделей это означает необходимость совершенствования возможностей долгосрочной памяти агентов и их способности обрабатывать поступающую информацию последовательно, не теряя конечной цели задачи.
Кроме того, SWE-TaskFlow открывает возможности для поэтапной проверки качества работы агента: вместо оценки только конечного результата разработчики теперь могут оценивать производительность агента после каждого сообщения, что помогает выявлять отклонения от правильного пути на ранних этапах процесса программирования с поддержкой искусственного интеллекта.