OpenAI, Karar Verme Uygulama Programlama Arayüzü (Decisions API) modelini ilk kez tüm kullanıcıların ve geliştiricilerin erişimine sundu. Bu adım, son dönemde TypeSafe gibi girişimlerin (Jev olarak bilinen modeliyle) domine ettiği, ultra hızlı ve düşük maliyetli yapay zeka pazarında resmi bir yer edinme çabasını temsil ediyor.
Bu derin öğrenme modeli kategorisi, son derece yetenekli sınıflandırıcılar olarak işlev görür; kullanıcıların bir dizi seçenek arasından belirli bir seçeneği aşırı hızda seçmesine olanak tanırken alınan karara ilişkin bir güven skoru da sunar. Yazılım geliştiriciler, bu karar modellerinin (veya 'Sistem Bir' sistemleri olarak bilinen yapıların) birçok operasyonel iş akışında büyük dil modellerinin yerini çok daha düşük maliyetle ve çok daha kısa yanıt süresiyle alabildiğini fark ettiler.
ChatGPT'den Decisions API'ye
OpenAI'da API Ürün Müdürü olarak görev yapan Nikunj Handa, ekibinin Jev modelinin kaydettiği büyük başarıyı fark ettiğini ve şirkete özel bir alternatif geliştirmek için harekete geçtiğini belirtti. Sıfırdan özel bir karar modeli tasarlamak yerine ekip, çıkarım (Inference) süreçlerini hızlandırmak ve operasyonel maliyetleri düşürmek için ChatGPT Luna modelini yeniden yapılandırdı.
Handa, Decisions API'deki en belirgin iyileştirmenin, yanıt süresini 1 ila 3 saniye arasından 100 ila 180 milisaniyeye indirmek olduğunu vurguladı. Şirket ilerleyen süreçte bu amaç için tamamen özel modeller eğitmeye yönelebilse de, modifiye edilmiş Luna sürümü şu anda bu işlevi verimli bir şekilde yerine getiriyor.
Erişilebilirlik ve Pratik Kullanım Alanları
Geliştirici konferansında ilk kez tanıtılan arayüzün tüm müşterilerin kullanımına sunulduğu açıklandı. Bu güncelleme ile yeni sesli ve görsel özellikler eklenirken, dünya genelindeki gecikmeyi en aza indirmek için çıkarım kaynakları coğrafi olarak dağıtıldı. İlk testler sırasında Box, Datadog, Ramp ve Speak gibi şirketler, işleme verimliliğini artırmak için yeni API'yi kullandılar. Özellikle dil öğrenme araçları geliştiren Speak, işlemler arasındaki gecikme süresini 1.4 saniyeden sadece 0.13 saniyeye düşürmeyi başardı.
Performans Standartları ve Pazar Rekabeti
Farklı karar modellerinin performans ölçümleri iş yüklerinin doğasına göre değişiklik gösteriyor. AIM System One Index ve Artificial Analysis Decision Index gibi endekslerde D1 Ultra ve Elephant-1 gibi modeller öne çıkarken; Jev ve OpenAI'ın arayüzü, PacMan gibi baskı altında karar verme hızını ölçen oyun testleri de dahil olmak üzere çeşitli kıyaslama verilerine göre üst sıralarda rekabet etmeye devam ediyor.
Rekabet avantajları hakkında konuşan OpenAI yetkilileri, özellikle görüntü sınıflandırma ve görsel çıktıların yüksek doğruluk ve güvenilirlikle işlenmesi konularında arayüzlerinin çok modlu yeteneklerde üstünlüğe sahip olduğunu belirtiyor. Ekip, API aracılığıyla tekli video karelerini doğrudan işlemek amacıyla yanıt süresini daha da düşürerek 60 milisaniye sınırına ulaştırmayı hedefliyor.