KubeRay geliştirme ekibi, aracın Bulut Yerel Bilişim Vakfı'na (CNCF) resmi olarak Sandbox aşamasında bir proje olarak katıldığını duyurdu. Bu adım, açık yapay zeka araçları ekosistemini Linux Vakfı liderliğinde birleştirilmiş ve tarafsız bir yönetişim şemsiyesi altına sokuyor.
Açık Yapay Zeka Altyapı Paketinin Tamamlanması
KubeRay; PyTorch, Yapay Zeka Modelleri (AI Models), Ray çatı yazılımı ve Kubernetes'i bir araya getiren ve kısaca PARK olarak bilinen yazılım paketinde merkezi bir köprü görevi görüyor. Bu ekosistem bugün geniş ölçekli üretim ortamlarında yapay zeka iş yüklerini çalıştırmak için fiili bir standart teşkil ediyor. PyTorch ve Ray'in halihazırda Linux Vakfı'na bağlı PyTorch Vakfı'nın gözetimi altında olması ve Kubernetes'in de CNCF bünyesinde bulunmasıyla birlikte, KubeRay'in geçişi bu paketin tüm bileşenlerinin bütünleşik ve tarafsız bir şekilde yönetilmesini sağlayarak kurumlara ve altyapı ekiplerine ekosistemin kararlılığı ve yazılımsal tarafsızlığı konusunda daha büyük bir güven veriyor.
Ray'in Kubernetes Üzerindeki Çalıştırma ve Genişletme Yetenekleri
KubeRay, Python ve Ray tabanlı yapay zeka ile makine öğrenimi iş yüklerini bulut altyapısı üzerinde sorunsuz bir şekilde çalıştırmayı amaçlayan bir Kubernetes Operatörü (Kubernetes Operator) ve araç paketi olarak görev yapar. Proje bunu üç Özel Kaynak Tanımı (Custom Resource Definitions - CRDs) aracılığıyla gerçekleştirir:
- RayCluster: Baş ve İşçi Pod'larının (Head and Worker Pods) sağlanmasını otomatikleştiren, sağlık kontrolleri gerçekleştiren, Merkezi Kontrol Hizmeti (GCS) arıza direnci sağlayan ve Ray Autoscaler ile koordineli olarak dinamik otomatik ölçeklendirme yapan, Kubernetes üzerinde tam bir Ray kümesinin yaşam döngüsünü yönetmek için temel birim olarak hizmet verir.
- RayJob: Toplu işleme görevleri, dağıtık eğitim ve pekiştirmeli öğrenme için özel olarak tasarlanmıştır; hazır olur olmaz geçici bir küme otomatik olarak oluşturur, bilgi işlem görevini gönderir ve grafik işlem birimleri ile hızlandırıcıların kullanım verimliliğini en üst düzeye çıkarmak için yürütme tamamlanır tamamlanmaz kümeyi ortadan kaldırır.
- RayService: Ray Serve aracılığıyla uzun süreli ve yüksek kullanılabilirliğe sahip doğrudan çıkarım (inference) hizmetlerini çalıştırmak için ayrılmıştır; kesintisiz periyodik güncellemelere, otomatik trafik yönlendirmesine ve model dağıtım hatlarının hassas bir şekilde yönetilmesine olanak tanır.
Bulut Ortamı ile Genişletilmiş Entegrasyon
Spotify gibi büyük platformlar, yapay zeka için dahili platformları Hendrix'i çalıştırmak ve modellerini Google Kubernetes Engine (GKE) hizmeti üzerinden Ray aracılığıyla eğitmek için KubeRay'e güveniyor. KubeRay, küme yönetiminin yanı sıra; hızlandırıcı performansını ve çıkarım gecikmesini izlemek için OpenTelemetry, Prometheus ve Fluent Bit gibi performans izleme araçlarının yanı sıra grafik kartı ve TPU yüklerini adil bir şekilde dağıtmak ve gelişmiş yalıtım ile güvenlik politikalarını desteklemek için Kueue, Volcano ve KAI gibi toplu zamanlama ve kota yönetimi araçlarıyla da entegre olur.
Bu Dönüşüm Geliştiriciler ve Şirketler İçin Ne Anlama Geliyor?
KubeRay'in CNCF'ye katılması, projeyi tekelci sınırlamalardan korur ve çok şirketli işbirlikçi bir geliştirme ortamı sağlar. Teknik kuruluşlar, Python tabanlı yapay zeka çatı yazılımları ile konteyner düzenleme platformları arasındaki uyumun hızlandırılmasından yararlanır; bu da dağıtık bilgi işlem kümelerini yönetmek için gereken mühendislik karmaşıklığını azaltır ve yapay zeka ajanları ile çok modlu uygulamaların geniş ölçekte dağıtılmasını kolaylaştırır.