一种在运行语言模型时用于保存上下文键和值的内存,随着上下文长度增加,可能成为重要的负担。
开放权重人工智能模型为机构提供了更大的本地运行灵活性,并减少对服务提供商的依赖,但这并不自动意味着训练数据、代码或使用权利也已开放。Semiconductor Engineering 的分析指出,其影响还延伸至内存设计、互连、安全以及芯片设计工具的工作流程。
加州大学伯克利分校与FuriosaAI的一篇论文研究了使用高带宽闪存(High Bandwidth Flash)扩展人工智能加速器在运行大语言模型时的内存。模拟结果显示,完成时间最多可缩短87%,同时通过采用缓存感知型调度,有望降低能耗并延长写入寿命。
微软的拉尼·布尔卡尔认为,人工智能基础设施的成功不应以芯片数量或处理的令牌数量衡量,而应看每单位能源、内存和投资所产生的有用智能数量。她呼吁采用一种从数据中心和芯片延伸至模型、软件和代理的整体设计。
Expedera 的 Sharad Chol 分析了边缘设备从传统视觉网络转向 LLM 和 VLM 模型后,瓶颈性质如何从计算能力转变为内存流量。他介绍了基于数据包的处理在减少外部数据传输、改善汽车和嵌入式设备中模型运行方面的作用。