人工智能

高带宽闪存可将大语言模型服务时间缩短多达87%

加州大学伯克利分校与FuriosaAI的一篇论文研究了使用高带宽闪存(High Bandwidth Flash)扩展人工智能加速器在运行大语言模型时的内存。模拟结果显示,完成时间最多可缩短87%,同时通过采用缓存感知型调度,有望降低能耗并延长写入寿命。

2026-10-02
1 分钟阅读
1,376 浏览量
certi.news Editorial Team
高带宽闪存可将大语言模型服务时间缩短多达87%

加州大学伯克利分校与FuriosaAI的一篇研究论文提出,使用高带宽闪存,即High Bandwidth Flash(HBF),作为高带宽内存HBM和主机内存之外的附加层,以满足大语言模型服务的需求。论文讨论了模型规模不断增长以及对话上下文不断延长所带来的问题:内存容量及其带宽成为制约推理性能的瓶颈。

大语言模型服务系统将模型权重和KV cache数据存储在内存中。在代理型工作负载中,保留这些数据的重要性不断提高,因为这类工作负载会在持续扩展的上下文中执行重复交互。但使用HBF扩展内存也存在权衡:闪存在访问速度上慢于HBM,而且与易失性内存相比,其写入耐久性有限。

论文测试了什么?

研究人员提出了一种结合HBM、HBF和主机内存的分层存储架构,并配套采用一种考虑缓存内容和数据位置的缓存感知型调度机制。他们使用由运行轨迹驱动的模拟,分析数据分配与调度决策对完成时间、能耗以及HBF预计写入寿命的影响。

根据公布的结果,最快的HBF支持系统相较于仅依赖HBM的系统,将完成时间缩短了36.1%至87.0%。在所评估的场景中,计算得出的节能幅度最高达到55.8%。

收益并非适用于所有工作负载

研究结果并未将HBF作为HBM的直接替代品。论文指出,在一些较轻的工作负载中,使用HBF反而增加了能耗,这意味着其收益取决于负载性质、所保留数据的规模,以及读写操作的调度方式。

在运行寿命评估中,写入管理的重要性尤为明显。在所评估的配置中,缓存感知型调度将HBF预计写入寿命从4.77年延长至14.82年。

这项研究为何重要?

结果表明,仅仅增加更大容量的内存,并不足以解决模型服务瓶颈。收益取决于数据位置与调度策略之间的协调,使具有长上下文的推理工作负载能够利用额外容量,同时避免耗尽闪存寿命或产生不必要的能源成本。

对于人工智能加速器设计者和基础设施运营商而言,这篇论文提出了一条在HBM之外扩展内存容量的研究路径,但尚未证明其普遍商业部署的可行性。相关结果基于模拟和运行轨迹,实际性能与寿命还将取决于硬件设计、工作负载特性以及现实系统中的内存管理策略。

论文题为“Characterizing High Bandwidth Flash for LLM Serving”,参与撰写者包括Yu、Zack、Chloe Wong、Coleman Hooper、Minjae Lee、Wonjun Kang、Youngjin Cho、Michael W. Mahoney、Yakun Sophia Shao、Kurt Keutzer和Amir Gholami。该论文于2026年9月以研究草稿形式发布在arXiv,编号为arXiv:2609.39131。

新闻来源
Semiconductor Engineering
查看原始来源 ↗
c
作者

certi.news Editorial Team

你需要知道的

加州大学伯克利分校和 FuriosaAI 的一篇论文提出,使用高带宽闪存作为 HBM 和主机内存之外的额外层,为大型语言模型提供服务。论文模拟显示,完成时间最多可降低 87%,但收益取决于工作负载和调度策略;该论文尚未证明其普遍商业部署的可行性。

  • 所提出的架构使用 HBM、高带宽闪存和主机内存,扩展为大型语言模型服务提供的可用内存容量。
  • 模拟显示,与仅依赖 HBM 的系统相比,完成时间降低了 36.1% 至 87.0%。
  • 在部分场景中,计算得出的能耗节省达到 55.8%;而在部分轻量级工作负载中,能耗有所增加。
  • 收益取决于数据分布以及读写操作的调度,因为闪存速度低于 HBM,且可承受的写入操作更少。
  • 在评估设置中,具备缓存感知能力的调度将 HBF 的预计写入寿命从 4.77 年延长至 14.82 年。
  • 这些结果基于模拟和运行轨迹,因此在实际硬件和系统中的表现可能有所不同。

常见问题

什么是高带宽闪存?

它是一种拟添加到 HBM 和主机内存之外的内存层,旨在为大型语言模型服务提供更大容量,但速度低于 HBM,且写入耐久性有限。

HBF 可以将大型语言模型的服务时间降低多少?

在论文进行的模拟中,与仅依赖 HBM 的系统相比,报告的完成时间降幅介于 36.1% 和 87.0% 之间。

HBF 是 HBM 的直接替代品吗?

不是。论文将其作为额外层提出,并指出其收益取决于工作负载特征、数据规模和内存调度策略。

调度如何影响 HBF 的寿命?

在所研究的设置中,具备内存内容和数据位置感知能力的调度,将 HBF 的预计写入寿命从 4.77 年提高到 14.82 年。

同一分类

你可能还喜欢

查看所有新闻