Büyük bir dil modeline dayanan bir sistemi çalıştırmak, onu erişilebilir hâle getirmek veya ilk doğruluğunu iyileştirmekle sona ermez. Sistem tamamen erişilebilir durumda kalırken yanlış kararları sessizce onaylayabilir, bütçeyi hızla tüketebilir ya da kesintiler sırasında kalitesi test edilmemiş bir modele geçebilir. Bu nedenle Running LLM systems in production serisinin beşinci bölümü, sistemi günlük olarak gözlemlenebilir, kontrol edilebilir, durdurulabilir ve kurtarılabilir kılan katman olarak işletilebilirliğe odaklanıyor.
Yalnızca hizmeti değil, kararı da izleyin
İstek oranı, hata oranı, yanıt süresi ve işlemci tüketimi gibi geleneksel hizmet metrikleri, aracının iyi kararlar alıp almadığını ortaya çıkarmaz. Kaynak, karar hacmi, otomatik yürütme oranı, bileşik güven dağılımı, her düğümün süresi, güvenlik kontrolleri tarafından engellenme durumları, belirteç tüketimi ve maliyet, insan müdahalesi oranı ve üretim trafiğinden alınan örnekler üzerindeki gizli değerlendirmelerin sonuçlarını içeren kararlara özgü bir izleme katmanı eklenmesini öneriyor.
Kaynak dört sinyal ailesi belirliyor: karar, güvenlik, maliyet ve performans, kalite. Her şey ölçülemiyorsa öncelik otomatik yürütme oranına, güvenlik kontrolleri tarafından engellemelere, toplam model maliyetine ve insanların sistem kararlarını geçersiz kılma oranına verilmelidir.
Ayrıca kayıtların üç katmana ayrılmasını öneriyor: yüksek hacimli operasyonel veriler, güven sınırları içindeki karara ilişkin meta veriler ve şifreleme ile sıkı erişim denetimine tabi ham veya yapılandırılmış veriler. Her karar, metrikleri, kayıtları, izleri ve denetim günlüğünü birbirine bağlayan sabit bir decision_id taşımalıdır; böylece tek bir kararın başlangıcından sonuna kadar incelenmesi mümkün olur.
Maliyeti ölçülebilir ve sınırlanabilir hâle getirin
Model çağrıları kod tabanının farklı bölümlerine dağıtılmamalıdır; çünkü bu, maliyetin ilişkilendirilmesini ve kontrol edilmesini zorlaştırır. Bunun yerine kaynak, tüm çağrıların geçtiği tek bir geçit öneriyor. Bu geçit, belirteç ve maliyet hesaplamasını kiracıya, yeteneğe ve modele göre yapmanın yanı sıra oran ve bütçe sınırlarını da uygular.
Maliyeti düşürme araçları şu sırayla gelir: deterministik bir kural yeterliyse modeli çağırmamak, öğeleri tek bir çağrıda toplamak, deterministik sonuçları önbelleğe almak, basit görevler için daha küçük bir model seçmek ve ardından gereksiz bağlamı ve talimatları azaltmak. Ayrıca çağrıdan önce tahmini belirteçler hesaplanmalı, her istek tek bir birim olarak sayılmamalı; platform için toplam bir üst sınır, yeniden deneme sayıları için sınırlar ve sınırsız araç döngülerine karşı kısıtlar konulmalıdır.
Yönlendirme, geri dönüş ve durdurma anahtarı
Uygulamada tüm görevler için tek bir model yoktur. Düşük riskli ve yüksek hacimli görevler daha küçük bir modele yönlendirilebilir, belirsiz veya hassas durumlar daha yetenekli bir modele atanabilir ve modellerin aynı zayıf noktaları paylaşmaması için yargılama amacıyla farklı bir model ailesi kullanılabilir. Yönlendirme veya geri dönüş yolunda bulunan her model değerlendirilmelidir; çünkü alternatif bir modele geçiş kaliteyi değiştirebilir.
Bir sağlayıcı kesintisi sırasında, tek bir toplam zaman aşımıyla tanımlanmış bir geri dönüş zinciri, çalışmadığı bilinen bir sağlayıcıya çağrı yapılmasını önleyen bir koruma aralığı ve çağrı zaman aşımına uğradığında karar fiilen başarıyla işlenmişse iki kez işlenmesini önleyen idempotency anahtarları kullanılmalıdır. Alternatif kabul edilebilir olmadığında ise bozulmayı gizlemek yerine karar bir insana aktarılmalıdır.
Durdurma anahtarı için kaynak, bunun genel veya kiracıya ya da yeteneğe özel olabilen ortak bir operasyonel durum olarak çalışmasını öneriyor. Durumlar şunlardır: normal çalışma, otomatik yürütmeyi durdururken insanlara yönelik önerileri koruyan HUMAN_ONLY ve karar almayı tamamen durduran HALTED. Anahtara erişilemediğinde güvenli davranış, normal çalışmayı sürdürmek değil, insan incelemesi moduna geçmektir.
Kaosu önleyen mimari
Kaynak, işletilebilirliği, alan mantığını model sağlayıcı paketlerinden bir arayüz ve uyarlama geçitleri aracılığıyla ayıran altı yönlü bir mimariyle ilişkilendiriyor. Bu sayede iş mantığı yeniden yazılmadan sağlayıcı değiştirilebilir ve alan, ağ veya maliyet olmadan sahte bir model kullanılarak test edilebilir.
Temel mimari; durumsuz aracı hizmetlerini, bir model geçidini, yalnızca eklemeli bir denetim deposunu, sınırlar ve durdurma anahtarı için ortak belleği, bir sır deposunu ve girdiler ile hassas veriler için nesne depolamasını içerir. Kaynak ayrıca her hizmet için bağımsız kimlik, asgari ayrıcalık ve özellikle ertelenmiş görevler için kısa ömürlü yetkilendirme izinleri kullanılırken her sıçramada kiracı kimliğinin istekle eşleştiğinin doğrulanmasını vurguluyor.
Bu haber neden önemli?
Buradaki pratik değer yeni bir bileşen eklemekten değil, kritik kontrol noktalarını tek bir geçitte birleştirmekten kaynaklanır: model değiştirmeyi mümkün kılan geçit, aynı zamanda maliyeti ölçer, sınırları uygular, yönlendirme ve geri dönüşü yönetir ve durdurmayı etkinleştirir. Ancak bu yaklaşımın başarısı, model sağlayıcısının devre dışı kalması, durdurma anahtarının etkinleştirilmesi, ani yük ve karar yürütülürken bir düğümün yeniden başlatılması gibi hata senaryolarının fiilen test edilmesine bağlı olmaya devam eder. Bu testler olmadan kurtarma mekanizmaları doğrulanmamış varsayımlar olarak kalır.