새로운 FrontierMemory 벤치마크, 인공지능 에이전트 메모리 성능의 큰 격차 드러내

레타(Letta)사는 이전 대화에서 단순히 사실을 검색하는 것을 넘어, 인공지능 에이전트가 과거 경험으로부터 지속적으로 학습하는 능력을 측정하고 평가하기 위한 새로운 벤치마크인 FrontierMemory를 출시했습니다. 이 벤치마크의 초기 테스트에서는 에이전트를 관리하는 다양한 프레임워크(Harnesses) 간에 성능 차이가 크게 나타났습니다.

15개의 작업으로 제한된 본 벤치마크의 첫 번째 버전 결과에서, 레타 드림(Letta Dream) 프레임워크는 사용된 모델에 따라 33.3%에서 73.3%의 비율을 기록하며 우세했고, 그 뒤를 이어 프라임 에이전트(Prime Agent)가 60%, 오픈에이아이 에이전트 SDK(OpenAI Agents SDK)가 40%를 기록했으며, 클로드 매니지드 에이전트(Claude Managed Agents)와 헤르메스 에이전트(Hermes Agent)는 각각 33.3%와 26.7%로 그 뒤를 이었습니다.

이 뉴스가 중요한 이유

테스트 관계자들은 기존의 메모리 벤치마크가 현재 작업 환경에서 고정된 사실을 검색하는 능력만을 측정하기 때문에 이미 포화 상태에 이르렀다고 지적합니다. FrontierMemory 벤치마크는 실제 기억과 해당 정보를 사용하여 후속 작업의 성능을 향상시키는 것 사이의 격차를 해소하기 위해 도입되었으며, 이는 코드 가중치를 수정할 필요 없이 문맥 전반에서 학습하는 에이전트의 능력을 측정하는 방향으로의 전환을 반영합니다.

실무적으로 무엇이 바뀌는가?

벤치마크에 통합된 7개의 모델을 비교한 결과, 앤스로픽의 클로드 오퍼스 5.5(Claude Opus 5.5)와 GLM-5.3이 유용한 메모리 생성에서 73.3%로 가장 높은 비율을 기록하며 GPT-6.1 솔(GPT-6.1 Sol)의 60%를 앞질렀습니다. 그럼에도 불구하고, 오픈에이아이 모델들은 작업당 약 0.77달러의 훨씬 낮은 운영 비용을 기록하여 오퍼스의 2.80달러, GLM의 3.58달러와 대조를 이뤘으며, 이는 메모리 정확도와 운영 비용 간의 명확한 상충 관계를 보여줍니다.

한계와 미해결 질문

FrontierMemory 벤치마크는 현재 15개의 작업과 작업당 한 번의 시도로만 제한되어 있어 아직 초기 단계에 있으며, 이는 단일 결과가 전체 총합에 큰 영향을 미친다는 것을 의미합니다. 또한 이번 평가는 작업 수행 중에 상호작용을 통해 직접 메모리를 갱신하는 것이 아니라 이전 작업으로부터 에이전트가 학습하는 것에 초점을 맞추고 있으며, 회사는 향후 버전에서 더 긴 작업과 실시간 메모리 검토를 포함하도록 이를 발전시킬 계획입니다.