NVIDIA tarafından yayımlanan bir araştırma, yapay zekâ modelini çevreleyen yazılım katmanının, özellikle görevin uzun sürmesi ve uzun bir karar dizisi gerektirmesi durumunda, ajanın performansını temel modelin kendisinden daha fazla etkileyebileceği sonucuna vardı. Bu katman; araçları, bellek yönetimini, bağlam kullanım kurallarını, geri bildirim mekanizmalarını ve modelin kullanabildiği çalışma ortamı, beceriler ve kütüphaneleri içeriyor.
Deney, bellekle ilgilenmek üzere tasarlanan ve denetleyici bir bileşen ekleyen özel bir harness kullanımının, Claude Opus 5’in etkileşimli akıl yürütme ARC-AGI-3 testinde %100’lük tam sonuca ulaşmasını sağladığını gösterdi. Testte doğrudan talimat içermeyen iki boyutlu oyunlar yer alıyor ve modelin, insanın yeni bir oyunu anlamaya çalışmasına benzer bir görevde, nasıl oynanacağını ve nasıl kazanılacağını çıkarsaması gerekiyor. Harness kullanılmadan önce model, onsuz test edilen modeller arasındaki en yüksek sonuç olan %30’u elde etmişti.
Harness modele ne ekliyor?
Dil modeli, kararları alan “beyin” rolünü üstleniyor ancak ajan sistemi içinde tek başına çalışmıyor. Harness; bilgilerin nasıl kaydedilip geri çağrılacağını, modelin kullanabileceği araçları ve adımların nasıl düzenlenip sonuçların nasıl gözden geçirileceğini belirliyor. NVIDIA’nın yapay zekâ biriminde ürünlerden sorumlu başkan yardımcısı Adel El Hallack’a göre ajan, yalnızca modele yönelik bir API arayüzünden ibaret değil; model, onu çevreleyen iskele, araçlar, çalışma ortamı, beceriler ve ilgili kütüphanelerden oluşuyor.
Bu unsurlar, tamamlanmış bir sonuca ulaşmak için saatler veya günler boyunca çok sayıda kararın birbirine bağlanmasını gerektiren uzun vadeli görevlerde özellikle önem kazanıyor. Kısa bir talebe tek bir yanıt vermek yerine yol uzadıkça bağlamın kaybedilmesi, adımların tekrarlanması veya yararsız bir yola sapılması olasılığı artıyor.
“Denetleyici”nin sapmayı önlemedeki rolü
NVIDIA’nın tasarımındaki en belirgin özellik, görevi yürüten ana ajanın yanına bir denetleyici ajan eklenmesiydi. El Hallack’ın açıklamasına göre bu bileşen, yönetici rolüne benzer şekilde çalışıyor: Ana ajan zorlandığında onu doğru yöne yönlendiriyor, çıkmaza götürebilecek bir yola girmeye başladığında uyarıyor veya daha önce denediği bir yolu yeniden incelemesini istiyor.
Denetleyici ajan fikri yeni değil, ancak mevcut ajan araçlarının çoğu harness içinde yalnızca tek bir katmana dayanıyor; Claude Code, Codex ve Hermes gibi. Habere göre NVIDIA araştırmacıları bu test için Agentic Variation Operators (AVO) adını verdikleri genişletilmiş bir harness oluşturdu. Bu sayede bellek yönetimini ve denetimi daha gelişmiş biçimde test edebildiler.
Bu, ajan kullanıcıları için ne anlama geliyor?
Sonuçlar, güvenilir bir ajan oluşturmak için en güçlü veya en yeni modeli seçmenin tek başına yeterli olmadığını gösteriyor. Aynı model, farklı harness’ler içinde çalıştırıldığında kökten farklı sonuçlar elde edebilir; çünkü bellek tasarımı, bağlam yönetimi ve kararların gözden geçirilmesi modelin pratikte çalışma biçimini değiştiriyor. Bu durum, programlama, belge düzenleme veya çok adımlı işlemleri gerçekleştirme amacıyla ajan geliştiren ekipler için önem taşıyor; zira modeli çevreleyen sistemin mühendisliği doğruluk ve istikrar açısından belirleyici bir faktör olabilir.
Bu sonuç, uzun vadeli görevlerin zorluğuna ilişkin diğer göstergelerin ardından geldi. Microsoft, nisan ayında 19 büyük dil modelini belge düzenlemeyle ilgili görevlerde test etti ve gelişmiş modeller de dahil olmak üzere tüm modellerin dosyalara hatalar eklediğini tespit etti. Ayrıca art arda kararlar alan modellerin, hedeflerine ulaşmak için kullanıcı dosyalarını veya tüm veritabanlarını silmeye ya da gizli anlaşma ve bilgisayar korsanlığı gibi suç teşkil eden davranışlara başvurduğu vakalar da gözlemlendi.
ARC-AGI-3 testi, OpenAI modellerinin bu testte %10’un altında sonuçlar elde etmesi nedeniyle ek önem taşıyor. Bu durum şirketi bir önceki ay kendi araştırmasını yürütmeye yöneltti. OpenAI, harness içindeki yalnızca iki ayarın değiştirilmesinin modellerinin sonuçlarını üç katına çıkardığını tespit etti, ancak söz konusu testte NVIDIA’nın tasarımının elde ettiği %100’lük sonuca ulaşamadı.
Maliyet ve açıklık üzerindeki etkisi
NVIDIA bu sonucu yeni bir ürün olarak sunmuyor. Şirket, Nemo markası altında ajanlar için harness oluşturmakta kullanılabilecek açık kaynaklı ve ticari bileşenler sağlıyor, ancak AVO araştırması yeni bir ürün duyurusu değil. Sonuçlar, Databricks’in temmuz ayında yayımladığı ve harness’in yapay zekânın çalıştırılma maliyetini büyük ölçüde etkileyebileceğini belirten araştırmayla örtüşüyor. Databricks CEO’su Ali Ghodsi’nin açıklamasına göre uygun olmayan bir harness kullanılması, aynı model çalıştırılsa bile maliyeti iki katına çıkarabilir.
NVIDIA araştırmasının daha geniş mesajı, açık harness’lerin kullanıcılara tıpkı açık modellere kıyasla daha geniş bir kontrol alanı sağladığı yönünde. Şirket, ajan sistemlerini daha güvenli bir şekilde ilerletmek için harness, altyapı ve çalışma ortamı üzerinde kontrol sahibi olmanın gerekli olduğunu düşünüyor. Ancak sonuçlar modelin önemini ortadan kaldırmıyor; ajanın nihai performansının yalnızca modelin değil, belleğini, araçlarını ve kararlarını düzenleyen katmanın da bir sonucu olduğunu gösteriyor.