KubeRay 프로젝트 개발팀은 본 도구가 리눅스 재단(Linux Foundation) 산하의 클라우드 네이티브 컴퓨팅 재단(CNCF)에 샌드박스(Sandbox) 단계의 초기 프로젝트로 공식 합류했다고 발표했습니다. 이는 오픈소스 AI 도구 생태계를 통합되고 중립적인 거버넌스 우산 아래 두는 조치입니다.
오픈 AI 인프라 스택의 완성
KubeRay는 PyTorch, AI 모델, Ray 프레임워크, 쿠버네티스(Kubernetes)를 결합한 PARK 소프트웨어 스택의 핵심 연결 고리 역할을 합니다. 이 생태계는 현재 대규모 프로덕션 환경에서 AI 워크로드를 실행하기 위한 사실상의 표준입니다. PyTorch와 Ray가 이미 리눅스 재단 산하의 PyTorch 재단에서 관리되고 있고 쿠버네티스가 CNCF에 속해 있는 상황에서, KubeRay의 이관은 이 스택의 모든 구성 요소에 대한 통합된 중립적 관리를 달성하여 기업과 인프라 팀에 생태계의 안정성과 소프트웨어 중립성에 대한 더 큰 신뢰를 제공합니다.
쿠버네티스 상에서 Ray의 운영 및 확장 역량
KubeRay는 파이썬과 Ray 기반의 AI 및 머신러닝 워크로드를 클라우드 인프라 위에서 원활하게 실행하기 위한 쿠버네티스 오퍼레이터(Kubernetes Operator) 및 툴킷 역할을 합니다. 본 프로젝트는 세 가지 사용자 정의 리소스 정의(CRDs)를 통해 이를 달성합니다.
- RayCluster: 쿠버네티스에서 전체 Ray 클러스터의 수명 주기를 관리하는 기본 단위를 담당하며, 헤드 및 워커 파드(Head and Worker Pods) 프로비저닝 자동화, 상태 건전성 검사 수행, 중앙 제어 서비스(GCS) 장애 대응, Ray Autoscaler와 연동된 동적 자동 확장을 처리합니다.
- RayJob: 배치 처리 작업, 분산 학습, 강화 학습을 위해 특별히 설계되었습니다. 준비가 완료되는 즉시 임시 클러스터를 자동으로 생성하고 컴퓨팅 작업을 전송한 뒤, 그래픽 처리 장치(GPU)와 가속기의 활용 효율을 극대화하기 위해 실행이 끝나자마자 클러스터를 해제합니다.
- RayService: Ray Serve를 통한 장기적이고 고가용성을 갖춘 실시간 추론 서비스 실행에 특화되어 있으며, 중단 없는 주기적 업데이트, 트래픽 자동 리디렉션, 모델 배포 파이프라인의 정밀한 관리를 지원합니다.
확장된 클라우드 환경 통합
Spotify와 같은 주요 플랫폼은 내부 AI 플랫폼인 Hendrix를 구동하고 Google Kubernetes Engine(GKE) 서비스에서 Ray를 통해 모델을 학습하기 위해 KubeRay를 채택하고 있습니다. 클러스터 관리 외에도 KubeRay는 가속기 성능 및 추론 응답 시간 모니터링을 위해 OpenTelemetry, Prometheus, Fluent Bit 같은 성능 관측 도구와 통합되며, Kueue, Volcano, KAI 같은 배치 스케줄링 및 할당량 관리 도구와 연계되어 GPU 및 TPU 부하를 공정하게 분배하고 고급 보안 및 격리 정책을 지원합니다.
이러한 전환이 개발자와 기업에 의미하는 것
KubeRay의 CNCF 합류는 독점적 제한으로부터 프로젝트를 보호하고 다중 기업 간의 협업 개발 환경을 제공합니다. 기술 기업들은 파이썬 기반 AI 프레임워크와 컨테이너 오케스트레이션 플랫폼 간의 호환성 가속화를 통해 분산 컴퓨팅 그룹 관리 시 요구되는 엔지니어링 복잡성을 줄이고, 대규모 AI 에이전트 및 멀티모달 애플리케이션의 배포를 용이하게 할 수 있습니다.