"JetBrains" (JetBrains Research) araştırma ekibi, yapay zeka destekli kodlama ajanlarının değerlendirilme biçiminde temel bir boşluk ortaya koyarak, mevcut standartların geliştiricilerin gerçek çalışma ortamlarında bu araçlarla etkileşim kurma biçimini doğru bir şekilde yansıtmadığını vurguladı. Entegre Geliştirme Ortamlarını (IDE'ler) kullanan geliştiricilerin 4.782 çalışma oturumunu analiz eden araştırmacılar, mevcut modellerin günümüz programlamasının karmaşık gerçekliğine benzemeyen ideal koşullarda test edildiğini buldu.
Değerlendirme Standartları ile Pratik Gerçeklik Arasındaki Uçurum
Çalışma, (SWE-Bench Pro) gibi popüler standartların, tek bir eksiksiz mesajla sunulan hata düzeltme veya yeni özellik ekleme görevlerine neredeyse tamamen (yüzde 93,8 oranında) dayandığını gösterdi. Bununla birlikte, gerçek üretim oturumlarının analizi, geliştiricilerin kodlama ajanlarından istediklerinin yarısından azının fiilen hata düzeltme veya özellik ekleme ile ilgili olduğunu ortaya koydu.
Geliştiricilerin taleplerinin geri kalanı gerçekte şu çeşitli görevler arasında dağılmaktadır:
- Kod mimarisi hakkında bilgi istemek ve projenin belirli bölümlerinin nasıl çalıştığını anlamak.
- Geliştirme sürecindeki sonraki adımları planlamak.
- Kod İncelemesi (Code Review) ve Yeniden Yapılandırma (Refactoring).
- Kod komutlarını yürütmek, sorunları gidermek ve çözmek.
Ek olarak araştırma, gerçek oturumların yarısının tek bir mesajdan oluştuğunu, geri kalan oturumların ise birden fazla etkileşimi kapsayacak şekilde uzandığını, gereksinimlerin ajana kademeli ve parçalı bir şekilde ulaştığını buldu; bu da görevin tamamını tek ve cilalı bir mesajda sunan geleneksel (SWE-Bench) standardında eksik olan bir durumdur.
SWE-TaskFlow Çerçevesi: Kullanıcı Davranışının Daha Doğru Bir Simülasyonuna Doğru
Bu eksikliği gidermek için JetBrains, (SWE-TaskFlow) adı verilen yeni bir çerçeve sundu. Bu çerçeve mevcut standartların yerini almayı değil, bunları üç ana mekanizma aracılığıyla daha gerçekçi hale getirmeyi amaçlamaktadır:
- Görev Bölme (Task Splitting): Tek bir programlama görevi, ajanın ikinci talebi ancak birincisi tamamlandıktan sonra göreceği şekilde arka arkaya üç talebe bölünür; böylece kademeli gereksinimlerle başa çıkma yeteneği test edilir.
- Depo Soruları Ekleme (Repository Questions): Ajanın, görevi yürütmeden önce veya yürütürken mevcut kodun bazı bölümlerini açıklamasını gerektiren sorular üretilir; bu, gerçek geliştiriciler arasında çok yaygın bir davranıştır.
- Görev Akışı Hizalama (Task Flow Alignment): Ekip tarafından oluşturulan (TFAS) ölçümüne dayanarak mesaj dizilimini ve türlerini gerçek oturum dağılımlarıyla eşleşecek şekilde optimize etmek için algoritmaların kullanılması.
Deney Sonuçları: Maliyete Karşı Doğruluk
Araştırmacılar yeni çerçeveyi (GPT-5.6 Luna), (GPT-5.6 Terra) ve (Gemini 3.7 Flash) dahil olmak üzere çeşitli gelişmiş modeller üzerinde test ettiler. Sonuçlar, görevlerin birden fazla mesaja bölünmesinin görev başına işletme maliyetini 2,0 ila 2,6 kat artırdığını gösterdi. Bu artış, gereksinimler parçalı bir şekilde ulaştığında ajanın gösterdiği ek çabayı yansıtmaktadır.
Teknik açıdan bakıldığında, görevler bölündüğünde modellerin görevleri çözme başarı oranları (Resolve Rates) büyük ölçüde etkilenmemiş, 4 ila 5 yüzde puanlık küçük bir düşüş göstermiştir; bu da asıl zorluğun görevin kendi zorluğundan ziyade artan kaynak ve zaman tüketiminde yattığını göstermektedir.
Geliştiriciler ve Şirketler İçin Pratikte Ne Değişiyor?
Bu araştırmanın önemi, yapay zeka endüstrisinin odak noktasını tek bir adımda "kodlama sorunlarını çözmekten", uzun sohbetleri yönetebilen ve değişen bağlamı anlayabilen "etkileşimli asistanlar" inşa etmeye kaydırmasında yatmaktadır. Model geliştiren şirketler için bu, ajanların uzun süreli hafıza yeteneklerini ve nihai görev hedefinden sapmadan arka arkaya gelen bilgileri işleme becerilerini geliştirmeleri gerektiği anlamına gelir.
Aynı zamanda (SWE-TaskFlow), ajanın çalışmasının kalitesinin aşamalı olarak doğrulanmasına kapı aralamaktadır; geliştiriciler artık yalnızca nihai sonucu değerlendirmek yerine, her mesajdan sonra ajanın performansını değerlendirebilir, bu da yapay zeka destekli programlama sürecinin erken aşamalarında doğru yoldan sapmaların tespit edilmesine yardımcı olur.