La empresa Letta ha lanzado un nuevo estándar conocido como FrontierMemory para medir y evaluar la capacidad de los agentes de inteligencia artificial para aprender continuamente de experiencias pasadas, en lugar de limitarse a recuperar hechos de conversaciones anteriores. Las primeras pruebas del estándar han demostrado una gran disparidad en el rendimiento entre los distintos marcos de trabajo (Harnesses) que gestionan la ejecución de los agentes.
En los resultados de la primera versión del estándar, que se limitó a 15 tareas, el marco de trabajo (Letta Dream) se impuso con una tasa del 33.3% al 73.3% según los modelos utilizados, seguido por (Prime Agent) con un 60%, mientras que (OpenAI Agents SDK) obtuvo un 40%, y las plataformas (Claude Managed Agents) y (Hermes Agent) ocuparon las posiciones posteriores con un 33.3% y un 26.7% respectivamente.
¿Por qué importa esta noticia?
Los responsables de las pruebas señalan que los estándares de memoria tradicionales se han saturado porque solo miden la capacidad de recuperar hechos fijos en los entornos de trabajo actuales. El estándar FrontierMemory surge para cerrar la brecha entre el recuerdo real y el uso de esa información para mejorar el rendimiento en tareas posteriores, lo que refleja un cambio hacia la medición de la capacidad de los agentes para aprender a través del contexto sin necesidad de modificar los pesos de programación.
¿Qué cambia en la práctica?
Una comparación de los siete modelos integrados en el estándar mostró que tanto (Claude Opus 5.5) de Anthropic como (GLM-5.3) lograron la tasa más alta en la generación de memorias útiles con un 73.3%, superando a (GPT-6.1 Sol), que registró un 60%. Sin embargo, los modelos de OpenAI destacaron por un costo operativo mucho menor, de aproximadamente 0.77 dólares por tarea, en comparación con los 2.80 dólares del modelo Opus y los 3.58 dólares del modelo GLM, lo que pone de relieve una clara compensación entre la precisión de la memoria y el costo operativo.
Limitaciones y preguntas abiertas
El estándar FrontierMemory se encuentra todavía en una fase temprana, ya que actualmente se limita a 15 tareas y un solo intento por tarea, lo que significa que cualquier resultado individual afecta significativamente al total general. Asimismo, la evaluación se centra en el aprendizaje de los agentes a partir de tareas anteriores sin actualizar la memoria de forma interactiva y directa durante la ejecución del trabajo, puntos que la empresa planea desarrollar en futuras versiones para incluir tareas más largas y revisiones de memoria en tiempo real.