新 FrontierMemory 基准测试揭示人工智能代理内存性能存在巨大差异

Letta 公司推出了一项名为 FrontierMemory 的全新基准测试，旨在衡量和评估人工智能代理从以往经验中持续学习的能力，而不仅仅是从旧对话中检索事实。该基准测试的早期测试表明，管理代理运行的不同框架（Harnesses）之间的性能存在巨大差异。

在仅限于 15 个任务的该基准测试首版结果中，Letta Dream 框架表现优异，根据所用模型的不同，准确率达到了 33.3% 至 73.3% 之间；紧随其后的是 Prime Agent 框架，准确率为 60%；而 OpenAI Agents SDK 获得了 40% 的准确率；Claude Managed Agents 和 Hermes Agent 平台则分别以 33.3% 和 26.7% 的准确率位居其后。

为什么这条新闻很重要？

测试人员指出，传统的内存基准测试已经饱和，因为它们只衡量在当前工作环境中检索静态事实的能力。FrontierMemory 基准测试的出现弥补了实际记忆与利用这些信息改善后续任务性能之间的差距，这反映出行业正转向衡量代理在不修改代码权重的情况下跨上下文学习的能力。

实际发生了什么改变？

对基准测试中包含的 7 个模型的比较表明，Anthropic 的 Claude Opus 5.5 和 GLM-5.3 都实现了 73.3% 的最高有用内存生成率，超过了录得 60% 的 GPT-6.1 Sol。然而，OpenAI 模型的操作成本要低得多，每个任务约为 0.77 美元，而 Opus 模型为 2.80 美元，GLM 模型为 3.58 美元，这凸显了内存准确性与运营成本之间存在明显的权衡。

局限性与开放性问题

FrontierMemory 基准测试仍处于早期阶段，目前仅限于 15 个任务且每个任务只有一次尝试，这意味着任何单一结果都会对总分产生重大影响。此外，该评估侧重于代理从先前任务中进行学习，而没有在执行工作期间进行交互式和直接的内存更新，该公司计划在未来的版本中改进这些点，以包括更长的任务和即时内存审查。