封闭模型与开放模型之间的取舍,已不再只与访问应用程序编程接口的价格有关。允许下载训练后的权重,可以让模型在机构硬件上运行,或根据自身需求进行调整,但同时也给芯片工程师带来了有关内存、可持续性能、部署安全,以及硬件适应模型变化能力的复杂问题;模型可能在数周内发生变化,而芯片设计却需要数年。
这正是Semiconductor Engineering分析所讨论的核心,该分析参考了 Expedera、Arteris、Axiomise、Synopsys、Siemens EDA、Cadence、Rambus 以及其他公司的专家意见。其基本结论是,成功标准已不再是短时间峰值下的 TOPS 数量,而是平台能否高效、快速且安全地运行不断变化的模型组合。
开放权重并不意味着完全开源
开放权重模型允许用户下载训练后的参数,并在本地运行或调整这些参数。但这并不一定等同于开源模型;训练数据、代码和使用权利仍可能受到限制。这一领域包括 Meta Llama、Alibaba Qwen、DeepSeek、Mistral、Google Gemma、Microsoft Phi 以及 OpenAI gpt-oss 系列等模型。
运行选项从需要服务器或先进加速器的大型模型,到可以在内存有限的设备上运行的较小模型不等。根据文章内容,gpt-oss-120b 可以在配备 80 GB 内存的图形处理器上运行,而 gpt-oss-20b 则通过 MXFP4 量化面向配备 16 GB 内存的设备。但模型适配内存本身,并不能证明它一定会提供有用的实际性能。
灵活性与对单一提供商的依赖
在本地或私有云环境中运行,可以减少对单一服务的依赖,同时有助于将敏感数据保留在机构网络内部。这一点对于芯片设计和受监管行业尤其重要,因为相关数据可能包含工作方法、设计图或代表商业秘密的信息。
机构还可以使用模型路由,将困难任务分配给能力强大的商业模型,同时由成本较低的开放权重模型执行重复性任务或复杂度较低的任务。然而,分析指出,开放模型并不会自动保证更低的性能或更低的成本;成本取决于模型规模、运行方式和响应要求。当日常工作流程需要持续的交互性能时,成本可能超过 1 万美元。
芯片设计实际发生了哪些变化?
专家认为,内存、带宽和数据传输可能会成为比原始计算能力更重要的限制因素。设计团队需要评估活跃参数数量、数值精度、上下文长度、多模态能力、并发性和响应时间,而不是假设未来会有一个固定不变的单一模型。
- 内存带宽可能取代 FLOPS,成为主要限制因素。
- 稀疏激活和低精度量化的重要性日益提高。
- 结合不同类型处理器的异构系统,可能成为一种切实可行的部署方式。
- 必须测试 KV 内存压力、达到 128K 的上下文以及智能体并发,而不能只测试密集型 GEMM 运算。
这些要求源于模型开发周期与芯片制造周期之间的差距。模型可能每周或每月发生变化,而芯片周期即使在最佳情况下也可能需要约 2.5 年。因此,软件和硬件的适应能力,比加速某一个可能在制造完成前就失去重要性的模型更有价值。
芯片设计工具中的人工智能
根据分析引用 Synopsys 的观点,通用模型不足以承担芯片设计工作。可靠的输出依赖于干净且有文档记录的设计数据、明确的工作流程上下文,以及经过确认的事实依据。仅调整权重并不能解决专业数据不足或数据相互冲突的问题。
因此,开放模型在 EDA 工具中的价值,可能与企业能否将数据保留在受保护环境中,然后加入自身数据、工作流程和专有知识层的能力有关。安全方面也不止涉及模型本身,还包括对权重文件和更新进行记录,保护内存和 DMA 通道,隔离工作负载,以及支持回退到安全版本。
编辑解读:真正的变化并不是开放权重模型会立即取代专有模型,而是它们将人工智能决策从选择一项服务转变为设计一套完整系统。机构需要在性能、成本、隐私和可扩展性之间取得平衡,而芯片设计师则必须构建能够承受模型变化的平台,而不是针对单一基准进行优化。悬而未决的问题仍是,开放模型能否弥合专业任务中的质量差距,尤其是在可靠数据和工作流程比模型规模本身更重要的情况下。