A empresa Letta lançou um novo benchmark conhecido como FrontierMemory para medir e avaliar a capacidade dos agentes de inteligência artificial de aprenderem continuamente com experiências passadas, em vez de se limitarem a recuperar fatos de conversas antigas. Os testes iniciais do benchmark mostraram uma variação significativa no desempenho entre as diferentes estruturas (Harnesses) que gerenciam a operação dos agentes.
Nos resultados da primeira versão do benchmark, que se limitou a 15 tarefas, a estrutura Letta Dream se destacou, alcançando uma taxa de 33,3% a 73.3% dependendo dos modelos utilizados, seguida pela estrutura Prime Agent com 60%, enquanto o OpenAI Agents SDK obteve 40%, e as plataformas Claude Managed Agents e Hermes Agent ficaram nas posições seguintes com 33,3% e 26,7%, respectivamente.
Por que esta notícia importa?
Os organizadores do teste apontam que os benchmarks tradicionais de memória tornaram-se saturados porque medem apenas a capacidade de recuperar fatos fixos nos ambientes de trabalho atuais. O benchmark FrontierMemory surge para preencher a lacuna entre a lembrança real e o uso dessas informações para melhorar o desempenho em tarefas subsequentes, refletindo uma transição para a medição da capacidade dos agentes de aprenderem através do contexto sem a necessidade de modificar os pesos de programação.
O que muda na prática?
Uma comparação dos sete modelos integrados ao benchmark mostrou que tanto o Claude Opus 5.5 da Anthropic quanto o GLM-5.3 alcançaram a maior taxa na geração de memórias úteis com 73,3%, superando o GPT-6.1 Sol, que registrou 60%. No entanto, os modelos da OpenAI se destacaram por um custo operacional muito menor, de cerca de US$ 0,77 por tarefa, em comparação com US$ 2,80 para o modelo Opus e US$ 3,58 para o modelo GLM, destacando uma troca clara entre a precisão da memória e o custo operacional.
Limitações e perguntas em aberto
O benchmark FrontierMemory ainda está em um estágio inicial, limitando-se atualmente a 15 tarefas e uma única tentativa por tarefa, o que significa que qualquer resultado individual afeta significativamente o total geral. Além disso, a avaliação se concentra no aprendizado dos agentes a partir de tarefas anteriores, sem atualizar a memória de forma interativa e direta durante a execução do trabalho, pontos que a empresa planeja desenvolver em versões futuras para incluir tarefas mais longas e revisões imediatas da memória.