Компания Letta запустила новый стандарт под названием FrontierMemory для измерения и оценки способности агентов искусственного интеллекта непрерывно обучаться на основе прошлого опыта, а не просто извлекать факты из старых разговоров. Ранние тесты этого стандарта показали значительный разброс в производительности между различными фреймворками (Harnesses), управляющими работой агентов.
В результатах первой версии стандарта, которая ограничивалась 15 задачами, фреймворк Letta Dream показал лучшие результаты с долей от 33,3% до 73,3% в зависимости от используемых моделей, за ним следовал Prime Agent с 60%, в то время как OpenAI Agents SDK набрал 40%, а платформы Claude Managed Agents и Hermes Agent заняли последующие места с 33,3% и 26,7% соответственно.
Почему эта новость важна?
Организаторы тестирования отмечают, что традиционные стандарты памяти стали насыщенными, поскольку они измеряют только способность извлекать статичные факты в текущих рабочих средах. Стандарт FrontierMemory призван восполнить пробел между фактическим запоминанием и использованием этой информации для улучшения производительности в последующих задачах, что отражает сдвиг в сторону измерения способности агентов к обучению в контексте без необходимости изменения весов кода.
Что меняется на практике?
Сравнение семи моделей, встроенных в стандарт, показало, что Claude Opus 5.5 от Anthropic и GLM-5.3 достигли наивысшего среднего показателя генерации полезной памяти в 73,3%, опередив GPT-6.1 Sol, который зафиксировал 60%. Тем не менее, модели OpenAI отличались значительно более низкой стоимостью эксплуатации — около 0,77 доллара за задачу по сравнению с 2,80 доллара для модели Opus и 3,58 доллара для модели GLM, что подчеркивает четкий компромисс между точностью памяти и стоимостью эксплуатации.
Ограничения и открытые вопросы
Стандарт FrontierMemory все еще находится на ранней стадии: в настоящее время он ограничен 15 задачами и одной попыткой на каждую задачу, что означает, что любой отдельный результат оказывает существенное влияние на общую сумму. Кроме того, оценка сосредоточена на обучении агентов на основе предыдущих задач без интерактивного и прямого обновления памяти во время выполнения работы — эти моменты компания планирует доработать в будущих версиях, включив в них более длительные задачи и немедленные обзоры памяти.