论文提出将其与 HBM 和主机内存结合使用,以扩展大型语言模型服务的内存。
加州大学伯克利分校与FuriosaAI的一篇论文研究了使用高带宽闪存(High Bandwidth Flash)扩展人工智能加速器在运行大语言模型时的内存。模拟结果显示,完成时间最多可缩短87%,同时通过采用缓存感知型调度,有望降低能耗并延长写入寿命。