Rust'a Radikal Geçiş
Respan, iki yıllık bir geliştirme sürecinin ve LiteLLM kütüphanesi etrafında 100 bin satırdan fazla sarmalayıcı (wrapper) kod yazılmasının ardından, tamamen Rust diliyle yazılmış açık kaynaklı bir yapay zeka ağ geçidini (AI Gateway) kullanıma sunduğunu duyurdu. Bu karar, Ocak 2026'da LiteLLM kütüphanesine gelen rutin bir güncellemenin bağlantıda kesintili hatalara yol açması ve ekibi daha kararlı ve bakımı kolay bir alternatif aramaya itmesi üzerine alındı.
Eklenti (Plugin) Tabanlı Mimari
Geçmişte karşılaşılan bakım karmaşıklıklarından kaçınmak için Respan, Nginx sunucusuna benzer bir mimari benimsedi. Bu yapıda ağ geçidinin çekirdeği küçük tutulurken; yönlendirme (routing), model sağlayıcıları ve güvenlik kontrolleri gibi temel işlevler bağımsız eklentilere aktarıldı. Bu yöntem, geliştiricilerin çekirdek kaynak kodunu değiştirmelerine gerek kalmadan kendi eklentilerini oluşturmalarına olanak tanıyor.
Bu eklentiler oldukça hafif olmalarıyla öne çıkıyor; şirket, Mistral gibi bir model sağlayıcısını entegre etmenin sadece 22 satır kod gerektirdiğini, bunun da token tüketiminin raporlanması gibi model sağlayıcıları arasındaki teknik farklılıkların yönetilmesini kolaylaştırdığını belirtti.
Geliştiriciler İçin Pratikte Neler Değişiyor?
- Protokol Çevirisi: Ağ geçidi, farklı protokoller arasında dönüşüm yapabiliyor; bu sayede OpenAI Realtime API için tasarlanmış uygulamalar, istemci tarafında kod değişikliği yapmadan Gemini Live'a bağlanabiliyor.
- İstek Kontrolü: İstekler eklentiler üzerinden sırayla geçiyor; bu da geliştiricilere isteği değiştirme, ek çağrılar yapma ve hatta istek model sağlayıcısına ulaşmadan önce durdurma yetkisi veriyor.
- Performans ve Güvenlik: Rust dili daha fazla bellek güvenliği sağlıyor ancak yeni zorlukları da beraberinde getiriyor; özel eklentilerin ağ geçidi ile birlikte derlenmesi (compile) gerekiyor, bu da yeni bir özellik eklemenin ağ geçidine ait ikili dosyanın (binary) yeniden oluşturulmasını gerektirdiği anlamına geliyor.
Zorluklar ve Güvenlik Hususları
Derlenmiş eklentilerin benimsenmesi, geliştirici topluluğunda tedarik zinciri riskleri konusunda endişelere yol açtı; çünkü eklentiler ağ geçidi süreci içinde çalışıyor ve bu da onlara hassas istek verilerine doğrudan erişim sağlıyor. Şirket ayrıca eklenti sıralamasının önemini vurguladı; önbellek (cache) eklentisini güvenlik eklentisinden önce yerleştirmek, önceden kaydedilmiş bir yanıt olması durumunda güvenlik kontrolünün atlanmasına neden olabilir, bu da yapılandırmada yüksek hassasiyet gerektiriyor.
Bu eğilim, LiteLLM gibi diğer projelerin de Rust'a geçmeye çalıştığı bir dönemde gerçekleşiyor; ancak bu projeler, Respan'ın benimsediği kapsamlı yeniden inşa yerine, kritik yolları değiştirmeye odaklanan kademeli bir yaklaşım izliyor.