边缘设备中变长提示词的挑战
在为边缘设备（Edge devices）设计大语言模型（LLMs）时，开发人员面临一个核心挑战，即设备接收到的“提示词”（Prompts）长度差异巨大。虽然提示词可能仅限于由几个单词组成的简单语音指令，但其他操作可能需要分析包含数千个标记（Tokens）的长文档。这种差异给资源受限设备上的计算资源管理带来了巨大压力。
“填充”问题与计算能量浪费
大多数现有的推理栈（Inference stacks）依赖于处理固定长度的图（Graphs）。例如，如果系统被设置为处理 1024 个标记，那么每次运行模型时，它都会处理 1024 个位置，即使实际提示词仅由 50 个标记组成。在这种情况下，系统被迫将剩余的 974 个标记作为无用的“填充”（Padding）进行处理，导致时间和计算能量的巨大浪费。
为了通过传统方法克服这个问题，开发人员被迫构建多个二进制文件（Binaries），使每个长度范围都有其对应的文件，这极大地增加了认证（Qualification）和软件管理的复杂性。
Quadric Chimera GPNPU 的解决方案
Quadric 公司的通用神经处理单元（GPNPU），即 Chimera，提供了一种完全不同的方法。该单元不再依赖固定长度，而是确保可以使用单个图（One graph）来服务所有可能的长度，直至设定的最大容量。
这一创新消除了为每个长度构建多个二进制文件的需求，从而降低了软件栈（Software stack）的复杂性，并确保在不浪费处理周期进行不必要填充的情况下，以最高效率利用计算资源。
这对开发人员和制造商意味着什么？
这一进展代表了优化边缘设备人工智能性能方式的飞跃，它提供了以下优势：
- 能效：减少不必要的计算意味着更低的功耗，这对电池供电的设备至关重要。
- 软件简化：减少需要构建和测试的二进制文件数量，加快了产品开发周期。
- 灵活性：能够使用相同的软件基础设施处理各种输入（从简短的语音指令到长文本）。