La société Letta a lancé un nouveau benchmark connu sous le nom de FrontierMemory pour mesurer et évaluer la capacité des agents d'intelligence artificielle à apprendre en continu à partir d'expériences passées, plutôt de se limiter à la simple récupération de faits issus de conversations anciennes. Les premiers tests de ce benchmark ont mis en évidence des disparités importantes de performance entre les différents frameworks (Harnesses) qui gèrent l'exécution des agents.
Dans les résultats de la première version du benchmark, qui se limitait à 15 tâches, le framework Letta Dream s'est distingué en obtenant un taux de 33,3 % à 73,3 % selon les modèles utilisés, suivi du framework Prime Agent avec 60 %, tandis que OpenAI Agents SDK a atteint 40 %, et que les plateformes Claude Managed Agents et Hermes Agent se sont classées ensuite avec respectivement 33,3 % et 26,7 %.
Pourquoi cette nouvelle est-elle importante ?
Les concepteurs du test indiquent que les benchmarks de mémoire traditionnels sont désormais saturés car ils mesurent uniquement la capacité à récupérer des faits statiques dans les environnements de travail actuels. Le benchmark FrontierMemory vient combler le fossé entre la mémorisation effective et l'utilisation de ces informations pour améliorer les performances lors des tâches ultérieures, reflétant ainsi une transition vers la mesure de la capacité des agents à apprendre à travers le contexte sans nécessiter de modification des pondérations du code.
Qu'est-ce qui change concrètement ?
Une comparaison des sept modèles intégrés au benchmark a montré que Claude Opus 5.5 d'Anthropic et GLM-5.3 ont atteint le taux le plus élevé de génération de mémoires utiles avec 73,3 %, devançant GPT-6.1 Sol qui a enregistré 60 %. Néanmoins, les modèles d'OpenAI se sont distingués par un coût d'exploitation nettement inférieur, s'élevant à environ 0,77 dollar par tâche, contre 2,80 dollars pour le modèle Opus et 3,58 dollars pour le modèle GLM, ce qui met en évidence un arbitrage évident entre la précision de la mémoire et le coût opérationnel.
Limites et questions ouvertes
Le benchmark FrontierMemory en est encore à un stade précoce, se limitant actuellement à 15 tâches et à une seule tentative par tâche, ce qui signifie qu'un seul résultat pèse lourdement sur le total général. De plus, l'évaluation se concentre sur l'apprentissage des agents à partir de tâches antérieures sans actualiser la mémoire de manière interactive et directe pendant l'exécution du travail, des points que l'entreprise prévoit de développer dans les prochaines versions pour inclure des tâches plus longues et des révisions immédiates de la mémoire.