Large Language Model Inference

REACH提出一种以较低成本保护HBM免受AI模型推理期间内存错误影响的架构

来自伦斯勒理工学院和IBM的研究人员提出了REACH架构，用于在HBM控制器内部管理长跨度纠错码，目标是在大型语言模型推理负载中降低解码成本。该方案依靠内部代码处理常见错误，并使用外部代码修复已知的擦除部分。