Subquadratic揭示上下文最长达384,000个词元的Snap决策模型

Subquadratic公司通过公开预览发布SubQ Snap，加入决策模型竞赛。公司称，该模型单次请求最多可处理384,000个文本和图像词元。这相当于TypeSafe的Jev模型32,000个词元上下文上限的12倍，依据是公司进行的比较。

Subquadratic表示，Snap可以处理100,000个词元并在约一秒内作出决策，使人工智能代理能够在确定下一步行动前检查大部分代码库、文档和交互日志。

决策模型做什么？

与生成文本和代码的大型语言模型不同，决策模型通常会从预先确定的一组答案中选择一个。这可能包括为智能代理选择下一个工具、确定与某个问题相关的文件，或判断测试是否成功。

Subquadratic首席执行官兼联合创始人Alex Whedon认为，这些模型不应仅限于评估语言模型的输出或选择最适合任务的模型，还应承担一些可以避免使用成本更高的大型语言模型的工作。

更长的上下文与内部测试

Snap采用了公司称为Subquadratic Sparse Attention的架构。公司表示，该架构使注意力机制的需求随上下文长度线性增长，而不是像Transformer中常见的那样呈二次增长。公司称，该模型已经过最多一百万个词元的测试，但由于可用计算能力有限，公开预览目前限制在384,000个词元；据Whedon称，支持一百万个词元需要约2.6倍的计算资源。

在经过修改的信息检索RULER测试中，Snap在输入长度介于32,000个词元和一百万个词元之间时，得分为96.3至99.8。在跨多份文档进行推理的Decision LCR测试中，Snap得分为74.0，而分批处理文档的Jev得分为48.0。在Decision Index 0.2.1中，Snap得分为61.7，而Jev为57.9；在Bespoke Labs的Nimble测试中，Snap取得82.9%，而Jev为76.0%。

在16项面向企业的定制测试中，Subquadratic表示，Snap在其中13项中胜出，平均得分为67.6，而Jev为61.6；但Snap在三项测试中落败，其中包括When2Call。该测试衡量代理是在调用工具、请求澄清、作答还是拒绝之间作出决策的能力。

实际会发生什么变化？

当数据处于384,000个词元的限制之内时，更大的上下文可能会减少对文档切分、摘要和精确检索的需求。Whedon表示，这使得用户可以输入完整文档或相互关联的代码模块，而不是挑选可能遗漏重要信息的小段摘录。

但已发布的结果并非独立评估；尽管公司提供了长上下文测试代码供他人复现，所有结果均由Subquadratic内部生成。此外，Snap尚未出现在Decision Index最新排名榜中，因为当前版本侧重于开放权重模型，并包含专有测试，这使得Snap在0.2.1版本中的结果无法与更新结果直接比较。

可用性与成本

Snap目前以公开预览形式提供，输入价格为每百万个词元0.05美元，输出不收取费用。公司估计，处理100,000个词元的成本约为半美分，而使用完整384,000个词元窗口的成本约为两美分。

Subquadratic解释说，检索不会消失，因为企业数据集大于可用的上下文容量。但公司押注于更大的窗口能够支持检索完整文档或代码模块，而不是依赖精确且脆弱的摘录筛选。