Subquadratic, genel önizleme kapsamında SubQ Snap modelini kullanıma sunarak karar modeli yarışına katıldı. Şirket, modelin tek bir istekte 384 bin tokene kadar metin ve görsel işleyebildiğini söylüyor. Şirketin yaptığı karşılaştırmaya göre bu, TypeSafe’in Jev modelindeki 32 bin tokenlik bağlam sınırının 12 katına denk geliyor.
Subquadratic, Snap’in 100 bin tokeni işleyip yaklaşık bir saniye içinde karar verebildiğini söylüyor. Bu da yapay zekâ ajanlarının sonraki eylemi belirlemeden önce geniş kod depolarını, belgeleri ve etkileşim günlüklerini incelemesine olanak tanıyor.
Karar modelleri ne yapar?
Metin ve kod üreten büyük dil modellerinin aksine karar modelleri genellikle önceden belirlenmiş bir dizi seçenek arasından yanıt seçer. Bu seçenekler arasında akıllı bir ajan için kullanılacak sonraki aracı seçmek, bir sorunla ilişkili dosyaları belirlemek veya testin başarılı olup olmadığına karar vermek bulunabilir.
Subquadratic’in CEO’su ve kurucu ortağı Alex Whedon, bu modellerin yalnızca dil modellerinin çıktılarını değerlendirmekle veya görev için en uygun modeli seçmekle sınırlı kalmaması gerektiğini düşünüyor. Whedon’a göre bu modeller, daha pahalı büyük dil modellerinin kullanımından vazgeçilebilecek işleri de üstlenmeli.
Daha uzun bağlam ve şirket içi testler
Snap, şirketin Subquadratic Sparse Attention adını verdiği bir mimariye dayanıyor. Şirket, bu mimarinin dikkat mekanizmasının gereksinimlerini transformatörlerde yaygın olan karesel büyüme yerine bağlam uzunluğuyla doğrusal olarak artırdığını söylüyor. Şirket, modelin 1 milyon tokene kadar test edildiğini, ancak genel önizlemenin mevcut hesaplama kapasitesi nedeniyle şu anda 384 bin tokenle sınırlı olduğunu belirtiyor; Whedon’a göre 1 milyon token desteği yaklaşık 2,6 kat daha fazla hesaplama kaynağı gerektiriyor.
Bilgi geri getirmeye yönelik RULER testinin değiştirilmiş bir sürümünde Snap, 32 bin ila 1 milyon token arasında değişen girdilerle 96,3 ile 99,8 arasında puan aldı. Birden fazla belge üzerinden akıl yürütmeyi ölçen Decision LCR testinde, belgeleri gruplar hâlinde işleyen Jev’in 48,0 puanına karşılık 74,0 puan aldı. Snap ayrıca Decision Index 0.2.1’de 57,9’a karşı 61,7 puan aldı ve Bespoke Labs’in Nimble testinde Jev’in %76,0’lık sonucuna karşılık %82,9 elde etti.
Subquadratic, kuruluşlara özel 16 test genelinde Snap’in 13 testte üstün geldiğini ve Jev’in 61,6 puanına karşılık ortalama 67,6 puan aldığını söylüyor. Ancak model, ajanın bir araç çağırma, açıklama isteme, yanıt verme veya reddetme arasında karar vermesini ölçen When2Call da dâhil olmak üzere üç testi kaybetti.
Pratikte ne değişiyor?
Daha büyük bağlam, veriler 384 bin token sınırı içindeyken belgeleri bölme, özetleme ve hassas geri getirme ihtiyacını azaltabilir. Whedon, bunun önemli bilgileri dışarıda bırakabilecek küçük parçacıkları seçmek yerine tüm belgelerin veya birbiriyle ilişkili kod modüllerinin girdi olarak kullanılmasına olanak tanıdığını söylüyor.
Ancak yayımlanan sonuçlar bağımsız bir değerlendirme değil; şirket uzun bağlam testlerinin kodunu yeniden denemek üzere kullanıma açmış olsa da sonuçların tamamı Subquadratic tarafından şirket içinde üretildi. Ayrıca Snap, Decision Index’in en yeni sıralama tablosunda yer almıyor; çünkü mevcut sürüm açık ağırlıklı modellere odaklanıyor ve özel testler içeriyor. Bu da Snap’in 0.2.1 sürümündeki sonucu ile daha yeni sonuçlar arasında doğrudan karşılaştırma yapılmasını engelliyor.
Kullanılabilirlik ve maliyet
Snap şu anda genel önizleme kapsamında, girdi başına bir milyon token için 0,05 dolar fiyatla ve çıktılar için ücret alınmadan sunuluyor. Şirket, 100 bin token işlemenin maliyetini yaklaşık yarım sent, 384 bin tokenlik pencerenin tamamının kullanılmasının maliyetini ise yaklaşık iki sent olarak tahmin ediyor.
Subquadratic, kuruluşların veri kümeleri mevcut bağlam kapasitesinden daha büyük olduğu için geri getirmenin ortadan kalkmayacağını açıklıyor. Ancak şirket, daha büyük bir pencerenin hassas ve kırılgan parça seçimine güvenmek yerine tam belgelerin veya modüllerin geri getirilmesine olanak tanıyacağını düşünüyor.