Das Entwicklungsteam des KubeRay-Projekts hat den offiziellen Beitritt des Tools zur Cloud Native Computing Foundation (CNCF) als Sandbox-Projekt bekannt gegeben. Dieser Schritt stellt das Ökosystem offener KI-Werkzeuge unter ein einheitliches, neutrales Governance-Dach unter der Leitung der Linux Foundation.
Vollendung des offenen KI-Infrastrukturpakets
KubeRay stellt das zentrale Bindeglied im Softwarepaket dar, das als PARK bekannt ist und PyTorch, KI-Modelle (AI Models), das Ray-Framework sowie Kubernetes kombiniert. Dieses Ökosystem gilt heute als de-facto-Standard für den Betrieb von KI-Workloads im produktiven Großbetrieb. Da sich PyTorch und Ray bereits unter der Aufsicht der PyTorch Foundation (die Teil der Linux Foundation ist) und Kubernetes unter der CNCF befinden, sorgt der Wechsel von KubeRay für eine vollständige, neutrale Verwaltung aller Komponenten dieses Pakets. Dies gibt Unternehmen und Infrastrukturteams ein größeres Vertrauen in die Stabilität des Ökosystems und dessen Softwareneutralität.
Funktionen für den Betrieb und die Skalierung von Ray auf Kubernetes
KubeRay fungiert als Kubernetes-Operator und Werkzeugsammlung, um Python- und Ray-basierte KI- sowie Machine-Learning-Workloads nahtlos über Cloud-Infrastrukturen hinweg auszuführen. Das Projekt erreicht dies über drei benutzerdefinierte Ressourcendefinitionen (Custom Resource Definitions - CRDs):
- RayCluster: Dies ist die Basiseinheit zur Verwaltung des gesamten Lebenszyklus eines Ray-Clusters auf Kubernetes. Sie automatisiert die Bereitstellung von Rechenknoten (Head- und Worker-Pods), führt Integritätsprüfungen durch, bietet Ausfallsicherheit für den zentralen Steuerungdienst (GCS) und ermöglicht eine dynamische, automatische Skalierung in Abstimmung mit dem Ray Autoscaler.
- RayJob: Speziell entwickelt für Stapelverarbeitungsaufgaben (Batch Processing), verteiltes Training und Reinforcement Learning. Es erstellt automatisch einen temporären Cluster, sendet den Rechenauftrag ab, sobald dieser bereit ist, und reißt den Cluster nach Abschluss der Ausführung sofort wieder ab, um die Effizienz bei der Nutzung von Grafikprozessoren (GPUs) und Beschleunigern zu maximieren.
- RayService: Dient dem Betrieb langfristiger, hochverfügbarer Live-Inferenzdienste über Ray Serve. Es ermöglicht unterbrechungsfreie Rolling Updates, die automatische Umleitung von Datenverkehr (Traffic Routing) und die präzise Verwaltung von Modellbereitstellungspipelines.
Umfassende Integration in die Cloud-Umgebung
Große Plattformen wie Spotify setzen auf KubeRay, um ihre interne KI-Plattform Hendrix zu betreiben und ihre Modelle über Ray auf dem Google Kubernetes Engine (GKE)-Dienst zu trainieren. Neben der Clusterverwaltung lässt sich KubeRay mit Performance-Monitoring-Tools wie OpenTelemetry, Prometheus und Fluent Bit integrieren, um die Leistung von Beschleunigern und die Inferenzlatenz zu überwachen. Hinzu kommt die Integration mit Batch-Scheduling- und Quotenverwaltungswerkzeugen wie Kueue, Volcano und KAI, um GPU- und TPU-Lasten gerecht zu verteilen sowie erweiterte Isolations- und Sicherheitsrichtlinien zu unterstützen.
Was bedeutet dieser Wandel für Entwickler und Unternehmen?
Der Beitritt von KubeRay zur CNCF schützt das Projekt vor monopolistischen Einschränkungen und bietet eine unternehmensübergreifende, kollaborative Entwicklungsumgebung. Technische Organisationen profitieren von einer beschleunigten Kompatibilität zwischen Python-basierten KI-Frameworks und Container-Orchestrierungsplattformen. Dies reduziert die für die Verwaltung verteilter Computing-Cluster erforderliche technische Komplexität und erleichtert die Bereitstellung von KI-Agenten und multimodalen Anwendungen in großem Maßstab.