人工智能产业在其面临的工程挑战上呈现出明显的鸿沟；巨型数据中心和人工智能工厂正致力于处理具有庞大参数量的超大语言模型，而与此同时，在本地边缘设备上运行较小模型的挑战则日益凸显。这些边缘设备受到空间、功耗和内存的限制，其中带宽和随机存取内存带宽构成了推动诸如量化和高级压缩技术等技术创新的主要障碍。
边缘设备的种类极其繁多，包括手机、可穿戴设备、家用电器、工业物联网、机器人以及汽车系统。在此背景下，专家指出，设计一个尺寸合适且集成度高的人工智能模型的第一步也是最关键的一步，在于精确界定目标设备的用途和功能。过大的模型可能会导致设备运行缓慢或发热，而过小的模型则会使产品达不到满足要求的智能水平。
压缩策略与性能权衡
系统设计人员通常依赖多种压缩技术的组合，而不是只采用单一方法，这些策略包括：
- 蒸馏（Distillation）：训练一个被称为“学生”的较小模型来模仿被称为“教师”的较大模型，从而在保持基本推理能力的同时，将学到的行为转移到较小的架构中。
- 剪枝（Pruning）：移除影响较小的权重、神经元或层，无论是以结构化还是非结构化的方式。
- 量化（Quantization）：为权重和激活使用较少的位数，同时保持网络架构并管理校正边界以减少精度损失。
- 自适应压缩（Self-compression）：在训练阶段逐步降低精度，直至将无影响的路径归零，从而能够高效地针对专用硬件进行部署。
界定功能与工作负载
挑战不仅限于压缩模型，还需要在整个系统层面进行有效集成。该模型通常与应用程序的其他组件共享内存和计算能力，这使得可用资源实际上比理论规范显示的要小。这就要求对功能进行分类，并在关键核心功能与可选功能之间确定优先级，从而构建出靠近本地传感器的自包含传感闭环内的人工智能核心。
实际发生了哪些变化？
边缘工程的重心正从“大模型总是赢家”的概念转向“每瓦特体验”的指标。鉴于人工智能模型的发展速度快于芯片的开发周期，汽车和智能物理系统等领域的应用迫切需要平衡实时响应时间、功耗、成本和功能安全。
未来的限制与设计考量
知识产权开发公司和边缘技术企业面临着额外的挑战，即出于安全、保密和知识产权的原因，在自动驾驶等敏感领域中客户用于训练模型的机密性问题。因此，成功在边缘部署人工智能，始于从一开始就界定工作负载并选择合适尺寸的架构，同时依托灵活的系统设计来跟上模型和硬件的快速发展。