Das Unternehmen Letta hat einen neuen Benchmark namens FrontierMemory vorgestellt, um die Fähigkeit von KI-Agenten zur kontinuierlichen Verbesserung aus vergangenen Erfahrungen zu messen und zu bewerten, anstatt nur Fakten aus früheren Gesprächen abzurufen. Erste Tests des Benchmarks zeigten erhebliche Leistungsunterschiede zwischen den verschiedenen Frameworks (Harnesses), die den Betrieb der Agenten steuern.
In den Ergebnissen der ersten Version des Benchmarks, die sich auf 15 Aufgaben beschränkte, schnitt das Framework Letta Dream am besten ab und erreichte je nach verwendeten Modellen zwischen 33,3 % und 73,3 %, gefolgt vom Prime Agent mit 60 %, während das OpenAI Agents SDK 40 % erzielte und die Plattformen Claude Managed Agents sowie Hermes Agent mit 33,3 % beziehungsweise 26,7 % die hinteren Plätze belegten.
Warum diese Nachricht wichtig ist
Die Initiatoren des Tests weisen darauf hin, dass herkömmliche Speicher-Benchmarks gesättigt sind, da sie lediglich die Fähigkeit messen, feste Fakten in aktuellen Arbeitsumgebungen abzurufen. Der FrontierMemory-Benchmark schließt die Lücke zwischen tatsächlichem Erinnern und der Nutzung dieser Informationen zur Leistungsverbesserung bei nachfolgenden Aufgaben. Dies spiegelt einen Wandel hin zur Messung der Fähigkeit von Agenten wider, über den Kontext hinweg zu lernen, ohne dass Programmgewichte angepasst werden müssen.
Was ändert sich in der Praxis?
Ein Vergleich der sieben in den Benchmark integrierten Modelle zeigte, dass sowohl Claude Opus 5.5 von Anthropic als auch GLM-5.3 mit 73,3 % die höchste Rate an nützlichen Speichergenerierungen erreichten und damit GPT-6.1 Sol übertrafen, das 60 % verzeichnete. Dennoch zeichneten sich die OpenAI-Modelle durch deutlich geringere Betriebskosten von rund 0,77 US-Dollar pro Aufgabe aus, verglichen mit 2,80 US-Dollar für das Opus-Modell und 3,58 US-Dollar für das GLM-Modell. Dies verdeutlicht einen klaren Kompromiss zwischen Speichergenauigkeit und Betriebskosten.
Einschränkungen und offene Fragen
Der FrontierMemory-Benchmark befindet sich noch in einem frühen Stadium, da er derzeit auf 15 Aufgaben und einen einzigen Versuch pro Aufgabe beschränkt ist. Das bedeutet, dass jedes einzelne Ergebnis einen erheblichen Einfluss auf die Gesamtsumme hat. Darüber hinaus konzentriert sich die Bewertung auf das Lernen von Agenten aus vergangenen Aufgaben, ohne den Speicher während der Aufgabenausführung interaktiv und direkt zu aktualisieren. Dies sind Punkte, die das Unternehmen in zukünftigen Versionen weiterentwickeln will, um längere Aufgaben und Echtzeit-Speicherüberprüfungen einzubeziehen.