Mallika Rao, modern öneri sistemlerindeki en zorlayıcı unsurun sıralama modelini seçmek veya bir embeddings katmanı oluşturmak değil, gerçek operasyonel kısıtlar altında performansı korurken sürekli öğrenip uyum sağlayabilen üretim sistemleri oluşturmak olduğunu düşünüyor. Bu görüşler, InfoQ tarafından QCon AI materyalleri kapsamında yayımlanan Adaptive Recommenders in the Real World: Inference, Evals, and System Design başlıklı sunumda yer aldı.
Rao’ya göre öneri sistemleri hakkındaki tartışmalar genellikle aday oluşturma, geri getirme, sıralama, veri depoları, çevrim dışı metrikler ve muhtemelen büyük dil modelleri gibi bilinen aşamalara odaklanıyor. Ancak bu unsurlar, kullanıcı tercihlerinin, verilerin ve operasyonel kısıtların değiştiği bir üretim ortamında sistemin sürekli değer sunabilme kapasitesini tek başına açıklamıyor.
Tek bir modelden daha önemli olan bütün sistemdir
Sunulan yaklaşım; çıkarımı, veri güncellemelerini, deneyleri, ölçümü ve performans izlemeyi sürekli bir döngüde birleştiren bütünleşik bir sistem oluşturmaya odaklanıyor. Uyarlanabilir öneri sistemi, kullanıcı sinyallerini hızlı bir şekilde almalı ve bunları geri getirme ile sıralama aşamalarına aktararak önerilen içeriğin mevcut gerçeklikten kopmasını önlemelidir.
Materyal, geri getirmenin güncelliğinin model kalitesi kadar önemli pratik bir unsur olduğunu belirtiyor. Veriler gecikir veya gösterilen sonuçlar eski sinyallere dayanmaya devam ederse, model önceki testlerde yüksek doğruluk göstermeyi sürdürse bile sistem davranış değişikliklerine ayak uydurma yeteneğini kaybedebilir.
Hız, maliyet ve şeffaflık arasındaki denge
Bu sistemler sınırlı bir yanıt süresi bütçesiyle çalışır; bu da aşamaları bağımsız bileşenler olarak ele almak yerine birden çok aşama arasında dikkatli bir koordinasyon kurulmasını gerektirir. Eklenen her katman sonuçların kalitesini artırabilir, ancak aynı zamanda yanıt süresini, işletim maliyetini ve arıza teşhisinin karmaşıklığını da yükseltebilir.
Bu nedenle Rao, doğruluğun yanı sıra gözlemlenebilirlik, deney yapabilme, güven ve uyumluluğu temel tasarım gereksinimleri arasında değerlendiriyor. Bu gereksinimler, ekiplerin operasyonel döngü içinde neler olduğunu anlamasına, değişikliklerin etkisini ölçmesine ve belirli bir metrikt görünür iyileşmenin gerçekten ürüne yansıyıp yansımadığını belirlemesine yardımcı olur.
Bu haber neden önemli?
Yaklaşımın pratik değeri, öneri sistemlerinin değerlendirilmesini “Hangi model daha iyi?” sorusundan daha kapsamlı bir soruya taşımasıdır: Tüm sistem hızlı bir şekilde öğrenebilir mi, belirli zaman ve maliyet sınırları içinde çalışabilir mi ve performansın neden düştüğünü veya iyileştiğini gösterebilir mi? Arama, kişiselleştirme veya içerik keşfi oluşturan ekipler açısından bu, operasyonel altyapıya ve sürekli değerlendirmeye yapılan yatırımın model yatırımına en az onun kadar kritik olabileceği anlamına gelir.
Kaynak, ayrıntılı bir uygulama reçetesi veya sayısal karşılaştırma sonuçları sunmuyor; bunun yerine Rao’nun Twitter, Walmart ve Netflix’te arama, öneri ve kişiselleştirme altyapısı alanlarındaki deneyimine dayanan genel bir mühendislik çerçevesi ortaya koyuyor. Bu nedenle metriklerin nasıl seçileceği, geri bildirim döngülerinin nasıl tasarlanacağı ve güven ile uyumluluk gereksinimlerinin her ürüne göre nasıl dengeleneceği, her ortama özgü olarak ele alınması gereken açık sorular olmaya devam ediyor.