Kubernetes 已不再是一项新技术,但对于准备在生产环境中运行人工智能工作负载的团队来说,它又重新显得陌生。Fairwinds 首席技术官 Andy Suderman 在 CNCF 博客上发表的一篇文章中指出,人工智能已经成为 Kubernetes 使用和增长的主要驱动力之一,但对于许多组织而言,迁移到这一平台仍然是一个重大的运营决策。
文章的核心观点并不是 Kubernetes 不够成熟,而是人工智能工作负载的性质在常规容器运营任务之上增加了一层新的复杂性。训练需要大规模的计算能力,而推理服务则要求有序扩展和自动恢复。至于数据处理流水线,则需要统一的控制水平,并与应用的其他组件保持紧密衔接。
迁移到生产环境才是真正的考验
许多人工智能团队并不是从 Kubernetes 起步的,但当模型、服务和数据流水线迁移到真正的生产环境时,最终往往会使用 Kubernetes。此时,所有权和运营方面的问题便会出现:谁负责管理集群?谁负责共享服务?谁能确保人工智能工作负载不会影响其他应用?
Suderman 指出,得益于 GKE、AKS 和 EKS 等托管服务,创建基础 Kubernetes 集群已经比过去更加容易。但在人工智能工作负载的压力下运行这一集群,才是真正的挑战。团队需要管理作业分配,确保图形处理单元得到利用而不是闲置并产生高昂成本,还要防止失控的实验削弱平台的稳定性。
实际发生了哪些变化?
人工智能工作负载使资源管理变得更加敏感。训练可能会在短时间内造成对计算能力的急剧需求,而推理则需要持续的可扩展性和响应能力。面对访问边界更加严格的数据,作业不仅要在技术上正常运行,还必须在相应控制措施下运行,以避免耗尽图形处理单元预算、使其他应用得不到资源,或拖慢核心服务。
从这个角度看,Kubernetes 不只是一个应用部署层,也是计算、数据、运营策略和人工智能组件之间的协调点。这解释了为什么现有 Kubernetes 团队可能会觉得这一平台熟悉,但当训练、推理和数据流水线被引入同一个集群时,平台又会对它们提出不同的运营规则。
“先试验,再承诺”的类比
作者将这一阶段比作一个习惯使用 Windows 的用户第一次转向 Linux。系统在适应之后可能很强大,但初次接触时却像是进入了一个不同的世界。他还提到了 Live CD 的概念:在安装系统并重新分区之前,用户可以借此在实际硬件上试用 Linux 发行版。
同样,考虑在 Kubernetes 上运行人工智能的机构需要一种方式,在承诺完全拥有和运行该平台之前,了解平台在真实基础设施上的运行表现。这一观点没有提供具体的试验工具或详细方法,但明确说明了为什么测试现实中的运行情况很重要,而不能只满足于创建一个初始集群。
certi.news 的解读
文章所强调的真正变化,是讨论重点从“能否运行 Kubernetes?”转向“能否在 Kubernetes 上高效、安全地运行人工智能工作负载,同时不影响平台的其他部分?”。因此,基础设施团队、平台工程师,以及从实验阶段走向生产阶段的人工智能团队都会受到这一问题的影响。
不过,应将这篇文章视为专业观点,而不是一份独立的市场报告。作者介绍了对托管 Kubernetes 平台的需求,并以呼吁读者联系 Fairwinds 作为结尾,这使文本具有明显的商业视角。此外,文章没有提供成本或使用率方面的数据,也没有明确给出用于管理调度、隔离或图形处理单元预算的实际控制措施。因此,文章的主要价值在于诊断创建集群与在人工智能工作负载压力下管理集群之间的运营鸿沟,而不是提供一套完整的实施方案。