HBM4代表了高带宽内存设计方式的转折点，因为它允许用针对特定工作负载或处理器的定制裸片替代标准基础逻辑裸片。尤其是超大规模计算公司因此可以将内存与定制XPU处理单元进行匹配，而不必满足于人人都能获得的标准产品。
这并不意味着会出现一种可以像传统HBM封装那样购买的新统一产品。每一种定制内存，即cHBM，都需要一份协议，明确由谁设计基础裸片、由谁制造并测试晶圆、由谁集成内存层，以及由谁执行最终测试。根据该材料，具体答案将取决于项目以及参与其中的客户。
HBM4发生了哪些变化？
HBM封装由多层结构组成，其中大多数是内存裸片，底部则是一块负责封装内部管理、寻址和控制任务的逻辑芯片。在HBM3之前，包括Micron、Samsung和SK hynix在内的内存公司会设计并制造所有裸片，其中也包括基础裸片。
而在HBM4中，基础裸片转向更先进的逻辑制造工艺，不再采用接近DRAM工艺的制程。它很可能采用4纳米或更新的节点，而DRAM裸片本身不会转向这些工艺。因此，逻辑代工厂可以制造基础裸片，随后由内存公司在标准版本中完成封装组装和测试。
HBM4及后续几代产品增加了用定制裸片替代这一标准裸片的选项。内存层本身不一定发生变化；定制主要集中在控制逻辑、接口和管理特性上，从而可以让封装与系统设计相匹配。
为什么定制化面向超大规模计算公司？
使用标准HBM需要购买现成模块，而定制化则会把获取内存转变为一个需要资金、团队、工具和时间的设计项目。因此，超大规模计算公司显然是最合适的候选者；它们拥有所需资源，而且其人工智能工作负载比通用Web服务器工作负载更加专业化。
这些公司可能会将大批机器分配给某一类特定任务，这使得同时调整处理器和内存更具价值。此外，人工智能计算的发展速度快于标准制定的速度。Marvell的Khurram Malik指出，JEDEC的标准化速度跟不上超大规模计算公司的行动速度，因此定制化可能让它们无需等待正式标准，就能应对新的工作负载。
企业公司也开始评估构建自己的专用XPU，但这一趋势仍处于早期阶段。Marvell通过其定制云计算部门提供了一个实际案例：该部门为客户开发XPU，并寻求设计一种能够满足多个客户需求的定制HBM版本，而不是为每个客户完全单独构建一个解决方案。
芯片设计实际上会发生哪些变化？
在基础裸片定制化后，内存控制器会从主机处理器芯片转移到HBM的基础裸片内部。这需要就处理器与控制器之间的连接方式达成一致，无论是使用AXI，即Arm的可扩展接口，还是采用其他方法。同时，还可以优化处理器与内存封装之间的连接接口，以适应系统需求。
这一变化释放了处理芯片上的空间，因为内存控制器及其相关PHY接口不再需要像传统方式那样驱动芯片之间的信号。Malik表示，用UCIe等die-to-die接口取代DRAM PHY，可能使连接模块比标准PHY小约70%，并可能让处理器芯片上的计算能力提高25%，同时降低功耗并改善整个XPU的效率。
定制基础裸片还可能提供更大的连接空间，即所谓的芯片“海岸线”，从而可以连接更多HBM封装，并增加计算单元可用的内存容量。定制化还可能包括可靠性、可用性和可维护性功能，以及在系统内部汇总和管理遥测数据的机制。
谁来设计封装，谁来制造封装？
设计似乎是项目四个阶段中最困难的阶段：设计、晶圆制造与测试、封装组装以及最终测试。它需要工程团队、工具，以及对增加或修改内存将如何影响性能和功耗的清晰认识。尽管内存公司拥有相关经验，但其资源正忙于满足当前需求，可能没有专门团队来执行大量定制设计。
因此，设计工作可能由内存客户本身负责，例如超大规模计算公司，或由像Marvell这样的无晶圆厂设计公司负责。即使重新使用现成设计模块，仍然需要针对每个客户进行专门调校和优化，因为超大规模计算公司的需求并不完全相同。
晶圆制造和测试预计将在逻辑代工厂完成，而且该代工厂可能并不是生产标准基础裸片的代工厂。项目协议将确定负责封装组装的实体。在标准HBM4中，内存公司获得经过测试的逻辑裸片，完成封装组装并测试最终产品。而在cHBM中，内存公司、逻辑代工厂和专业封装设施可能共同承担这些责任，或者客户可能保留更大的集成控制权。
TSMC最近宣布与Winbond开展合作：Winbond提供内存芯片，TSMC负责封装组装。该模式表明，封装集成可能不再局限于主要内存公司。
cHBM会缓解内存短缺压力吗？
Synopsys预计，每年采用替代性定制DRAM堆叠的项目不会超过20个，这反映出这一路径的局限性。此外，cHBM并不一定会增加市场总需求；内存总需求将包括标准应用和定制应用，因此其影响更多取决于产品组合，而不是总需求的增长。
不过，获取内存仍然困难。Malik指出，内存供应商工厂的可用产能已经被预订约一年半至两年，价格也在上涨。供应规划过程可能会变得更加复杂，因为与规划标准封装相比，预测定制项目的数量及其制造地点更加困难。
为什么这一发展很重要？
cHBM表明，人工智能系统中的竞争不仅在于增加内存容量，还在于将内存、处理单元和接口整合到一个设计中。对于目前正在进行的项目，定制封装可能在一两年内进入数据中心，但其普及仍将受到设计成本、工程团队可用性以及合作伙伴封装和测试能力的限制。因此，市场的未来似乎将呈现多种模式，而不是一种适合所有客户的统一解决方案。