Generalist AI reveló su modelo fundacional para robótica GEN-1.5, que permite al robot aprender nuevas tareas físicas a partir de una única demostración breve, en lugar de depender de programación especializada o de procesos de entrenamiento y ajuste fino para cada tarea. Según la información publicada por la empresa, el modelo puede analizar una demostración de entre 3 y 12 segundos y ejecutar la tarea sin actualizaciones graduales ni un proceso adicional de ajuste fino.
Generalist AI denomina a este tipo de ejemplos «instrucción física», un contexto que reúne los datos de los sensores y las secuencias de movimiento utilizadas en la demostración. GEN-1.5 procesa imágenes de vídeo junto con datos de sensores, lenguaje e información sobre la posición y el movimiento del robot. El modelo utiliza una ventana de contexto de 30 segundos y produce hasta 100 comandos de movimiento por segundo.
Resultados iniciales con una variación clara en el rendimiento
La empresa probó el modelo en 10 tareas breves de manipulación, y con una única demostración alcanzó una tasa media de éxito del 59%. Al adaptarlo con cinco minutos de datos, que incluían unas 50 demostraciones por tarea y 10 pasos graduales, la tasa aumentó al 83%. En otra prueba basada en un minuto de datos y un único paso gradual, el modelo registró un éxito del 66,5%.
Estas cifras indican que GEN-1.5 puede aprovechar unos pocos ejemplos, pero también muestran que el rendimiento sigue dependiendo en parte de la cantidad de datos y del grado de adaptación. Generalist AI reconoce que las tareas probadas eran relativamente sencillas y breves, y que las tasas de éxito actuales siguen siendo limitadas.
De imitar el movimiento a construir una nueva secuencia
El modelo no se limita a repetir el movimiento que observa. Cuando se le mostraron por separado una escena en la que se abría la cremallera de un estuche y otra en la que se sacaban monedas de él, logró combinar las dos instrucciones físicas en una única secuencia continua. También creó movimientos de transición que no estaban presentes en las demostraciones, como cambiar de posición y gestionar errores.
Los ejemplos de la empresa mostraron la capacidad del modelo para cambiar de estrategia al enfrentarse a circunstancias inesperadas. En una tarea cuyo objetivo era empujar un objeto hacia un recipiente utilizando un cepillo, GEN-1.5 usó un plátano como herramienta provisional para lograr el mismo propósito. Cuando se encontró con una pala, no siguió empujando con ella, sino que levantó el objeto y lo colocó en el recipiente. También se ocupó de una hoja que cubría el recipiente y retiró una pieza de Lego que se había quedado enganchada en uno de sus dedos utilizando la otra mano.
Aprendizaje a partir de simulaciones y de movimientos humanos
El modelo también permite transferir a un robot real una demostración grabada en un entorno simulado sin ejemplos adicionales, aunque los datos de simulación no formaron parte de la etapa de entrenamiento previo. En algunas tareas, pudo observar movimientos realizados por personas con sus manos a través de las cámaras del robot y después volver a ejecutar la tarea utilizando las manos del robot.
¿Qué cambia en la práctica?
La importancia de este enfoque reside en la posibilidad de reducir la necesidad de programar cada tarea robótica por separado. En lugar de preparar un sistema especializado durante meses, en el futuro podría bastar con mostrar al robot lo que se desea durante unos segundos. Sin embargo, esta conclusión no significa que el problema esté resuelto; la empresa afirma que el entrenamiento previo de GEN-1.5 continúa desde hace más de ocho meses y que el modelo todavía se prueba en tareas limitadas y con tasas de éxito incompletas.
Según Generalist AI, el modelo, tras entrenarse con un amplio conjunto de datos de interacciones físicas, comenzó a adaptarse a nuevas tareas utilizando menos datos y capacidad computacional. La empresa afirma que las capacidades de aprendizaje en contexto y de improvisación surgieron automáticamente durante el entrenamiento previo, sin un método de entrenamiento especial ni un objetivo adicional diseñado específicamente para estas capacidades.