University of California, Berkeley

高带宽闪存可将大语言模型服务时间缩短多达87%

加州大学伯克利分校与FuriosaAI的一篇论文研究了使用高带宽闪存（High Bandwidth Flash）扩展人工智能加速器在运行大语言模型时的内存。模拟结果显示，完成时间最多可缩短87%，同时通过采用缓存感知型调度，有望降低能耗并延长写入寿命。