术语

KV Cache

一种在运行语言模型时用于保存上下文键和值的内存,随着上下文长度增加,可能成为重要的负担。

最新报道

CN
为什么开放权重人工智能模型正在重塑硬件设计?

为什么开放权重人工智能模型正在重塑硬件设计?

开放权重人工智能模型为机构提供了更大的本地运行灵活性,并减少对服务提供商的依赖,但这并不自动意味着训练数据、代码或使用权利也已开放。Semiconductor Engineering 的分析指出,其影响还延伸至内存设计、互连、安全以及芯片设计工具的工作流程。

CN
高带宽闪存可将大语言模型服务时间缩短多达87%

高带宽闪存可将大语言模型服务时间缩短多达87%

加州大学伯克利分校与FuriosaAI的一篇论文研究了使用高带宽闪存(High Bandwidth Flash)扩展人工智能加速器在运行大语言模型时的内存。模拟结果显示,完成时间最多可缩短87%,同时通过采用缓存感知型调度,有望降低能耗并延长写入寿命。

CN
微软:人工智能进步的标准应是“有用产出”,而不是基础设施规模

微软:人工智能进步的标准应是“有用产出”,而不是基础设施规模

微软的拉尼·布尔卡尔认为,人工智能基础设施的成功不应以芯片数量或处理的令牌数量衡量,而应看每单位能源、内存和投资所产生的有用智能数量。她呼吁采用一种从数据中心和芯片延伸至模型、软件和代理的整体设计。

CN
随着边缘人工智能转向 LLM 模型,为什么 NPU 需要重新设计

随着边缘人工智能转向 LLM 模型,为什么 NPU 需要重新设计

Expedera 的 Sharad Chol 分析了边缘设备从传统视觉网络转向 LLM 和 VLM 模型后,瓶颈性质如何从计算能力转变为内存流量。他介绍了基于数据包的处理在减少外部数据传输、改善汽车和嵌入式设备中模型运行方面的作用。