Letta şirketi, yapay zeka ajanlarının eski sohbetlerden sadece gerçekleri geri çağırmakla kalmayıp geçmiş deneyimlerden sürekli öğrenme yeteneğini ölçmek ve değerlendirmek için FrontierMemory olarak bilinen yeni bir standart başlattı. Standardın ilk testleri, ajanları çalıştıran farklı çerçeveler (Harnesses) arasında performans açısından büyük bir farklılık olduğunu gösterdi.
Yalnızca 15 görevle sınırlı olan standardın ilk sürümünün sonuçlarında, kullanılan modellere bağlı olarak %33.3 ile %73.3 arasında bir oran elde eden (Letta Dream) çerçevesi liderlik etti. Onu %60 ile (Prime Agent) çerçevesi takip ederken, (OpenAI Agents SDK) %40 oranını elde etti; (Claude Managed Agents) ve (Hermes Agent) platformları ise sırasıyla %33.3 ve %26.7 oranlarıyla sonraki sıralarda yer aldı.
Bu Haber Neden Önemli?
Testi düzenleyenler, geleneksel bellek standartlarının, yalnızca mevcut çalışma ortamlarındaki sabit gerçekleri geri çağırma yeteneğini ölçtüğü için doygunluğa ulaştığını belirtiyor. FrontierMemory standardı; fiili hatırlama ile bu bilgilerin sonraki görevlerde performansı artırmak için kullanılması arasındaki boşluğu dolduruyor ve bu da yazılım ağırlıklarını değiştirmeye gerek kalmadan ajanların bağlam üzerinden öğrenme yeteneğini ölçmeye yönelik bir geçişi yansıtıyor.
Pratikte Ne Değişiyor?
Standartta entegre edilen yedi modelin karşılaştırması, Anthropic'ten (Claude Opus 5.5) ve (GLM-5.3)'ün her ikisinin de %73.3 ile en yüksek faydalı bellek oluşturma oranına ulaştığını ve %60 kaydeden (GPT-6.1 Sol)'ü geride bıraktığını gösterdi. Bununla birlikte, OpenAI modelleri; Opus modeli için görev başına 2.80 dolar ve GLM modeli için 3.58 dolara kıyasla, görev başına yaklaşık 0.77 dolar olan çok daha düşük bir işletme maliyetiyle öne çıktı; bu da bellek doğruluğu ile işletme maliyeti arasında açık bir ödünleşme (trade-off) olduğunu vurguluyor.
Kısıtlamalar ve Açık Sorular
FrontierMemory standardı hâlâ erken bir aşamada olup şu anda 15 görev ve görev başına tek bir deneme ile sınırlıdır; bu da herhangi bir tekil sonucun toplamı büyük ölçüde etkilediği anlamına gelir. Değerlendirme ayrıca, ajanların işi gerçekleştirirken belleği interaktif ve doğrudan güncellemesi yerine geçmiş görevlerden öğrenmesine odaklanmaktadır. Şirket, gelecekteki sürümlerde daha uzun görevleri ve anlık bellek incelemelerini içerecek şekilde bu noktaları geliştirmeyi planlamaktadır.