术语

AI Inference:人工智能推理

人工智能推理是指运行经过训练的人工智能模型,以响应请求并生成结果。这一应用出现在云基础设施服务、企业服务器、数据中心,以及为加速输出处理而设计的芯片和系统中。

人工智能推理是运行经过训练的人工智能模型,以处理请求并生成输出的阶段。它不同于模型训练,后者侧重于利用数据和计算资源构建模型能力。

推理应用在哪里?

  • 基础设施服务:Modal Labs 等公司提供运行模型和高计算负载工作负载所需的资源,而无需直接管理服务器。
  • 专用芯片和系统:Etched 专注于硬件系统,旨在与该公司提到的替代方案相比,加速推理并降低其成本和延迟。
  • 数据中心和 GPU 单元:Crusoe 销售用于运行人工智能模型的计算能力,同时出租空间和 GPU 单元。
  • 企业服务器:Sharp 已开始接受面向企业、政府机构和数据中心运营商的服务器订单,所公布的用途包括训练和推理。

为什么这一过程需要专用基础设施?

推理依赖 GPU、服务器、内存、存储、网络、电力和冷却等计算资源。资料显示,这些服务提供商同时面临不断增长的需求,以及购买或租用计算能力所带来的高昂成本,这可能会挤压利润率。

产品和基础设施中的推理

该领域的企业在多个层面展开竞争:设计专用芯片、构建可定制服务器、提供云平台,以及建设能够运行大量 GPU 单元的数据中心。因此,人工智能推理并不局限于模型本身,而是需要一整套运营体系。

应评估哪些方面?

  • 响应时间:发送请求后生成输出的速度。
  • 成本:提供计算能力、电力、冷却和运营所需的成本。
  • 可扩展性:基础设施服务更多请求或模型的能力。
  • 可靠性:服务器、平台和网络在运行期间的稳定性。

可用信息的局限性

现有资料未提供所有推理服务提供商在价格、性能或市场份额方面的统一比较。此外,部分数字涉及已公布的目标、计划和融资,并不一定代表已实现的运营结果。