L'équipe de développement du projet KubeRay a annoncé l'adhésion officielle de l'outil à la Cloud Native Computing Foundation (CNCF) en tant que projet au stade Sandbox, une étape qui place l'écosystème d'outils d'IA open source sous une gouvernance unifiée et neutre dirigée par la Linux Foundation.
Achèvement de la pile d'infrastructure ouverte pour l'IA
KubeRay représente le maillon central de la pile logicielle connue sous l'acronyme PARK, qui combine PyTorch, les modèles d'IA (AI Models), le framework Ray et le système Kubernetes. Cet écosystème est aujourd'hui une norme de fait pour l'exécution de charges de travail d'IA à grande échelle en production. Avec PyTorch et Ray déjà sous la supervision de la PyTorch Foundation (affiliée à la Linux Foundation) et Kubernetes au sein de la CNCF, l'intégration de KubeRay permet une gestion neutre et intégrée de tous les composants de cette pile, offrant aux entreprises et aux équipes d'infrastructure une plus grande confiance dans la stabilité et la neutralité logicielle de l'écosystème.
Capacités d'exécution et de mise à l'échelle de Ray sur Kubernetes
KubeRay fonctionne en tant qu'opérateur Kubernetes (Kubernetes Operator) et suite d'outils visant à exécuter des charges de travail d'IA et d'apprentissage automatique basées sur Python et Ray sur l'infrastructure cloud de manière fluide. Le projet y parvient grâce à trois définitions de ressources personnalisées (Custom Resource Definitions - CRDs) :
- RayCluster : Représente l'unité de base pour la gestion du cycle de vie d'un cluster Ray complet sur Kubernetes. Il automatise le provisionnement des nœuds (Head et Worker Pods), effectue des contrôles de santé, assure la tolérance aux pannes du service de contrôle centralisé (GCS) et permet la mise à l'échelle dynamique automatique en coordination avec le Ray Autoscaler.
- RayJob : Conçu spécifiquement pour les tâches de traitement par lots, l'entraînement distribué et l'apprentissage par renforcement ; il crée automatiquement un cluster éphémère, soumet la tâche de calcul dès qu'il est prêt, puis supprime le cluster immédiatement après l'exécution pour maximiser l'efficacité de l'utilisation des GPU et des accélérateurs.
- RayService : Dédié à l'exécution de services d'inférence en direct à long terme et à haute disponibilité via Ray Serve, permettant des mises à jour périodiques sans interruption, la redirection automatique du trafic et une gestion précise des pipelines de déploiement de modèles.
Intégration étendue avec l'environnement cloud
Des plateformes majeures comme Spotify utilisent KubeRay pour faire fonctionner leur plateforme interne d'IA, Hendrix, et entraîner leurs modèles via Ray sur le service Google Kubernetes Engine (GKE). Outre la gestion des clusters, KubeRay s'intègre à des outils de surveillance des performances tels qu'OpenTelemetry, Prometheus et Fluent Bit pour suivre les performances des accélérateurs et la latence d'inférence, ainsi qu'à des outils de planification par lots et de gestion de quotas tels que Kueue, Volcano et KAI pour distribuer équitablement les charges des GPU et des TPU, tout en prenant en charge des politiques d'isolation et de sécurité avancées.
Que signifie cette transition pour les développeurs et les entreprises ?
L'adhésion de KubeRay à la CNCF garantit la protection du projet contre les contraintes monopolistiques et offre un environnement de développement collaboratif multi-entreprises. Les organisations techniques bénéficient d'une compatibilité accélérée entre les frameworks d'IA basés sur Python et les plateformes d'orchestration de conteneurs, ce qui réduit la complexité technique requise pour gérer les clusters de calcul distribué et facilite le déploiement à grande échelle d'agents d'IA et d'applications multimodales.