A Generalist AI revelou seu modelo básico para robótica, GEN-1.5, que permite a um robô aprender novas tarefas físicas a partir de uma única demonstração curta, em vez de depender de programação especializada ou de processos de treinamento e ajuste fino para cada tarefa. Segundo as informações publicadas pela empresa, o modelo consegue analisar uma demonstração com duração entre 3 e 12 segundos e executar a tarefa sem atualizações graduais ou um processo adicional de ajuste fino.
A Generalist AI chama esse tipo de exemplo de «prompt físico», um contexto que reúne os dados dos sensores e as sequências de movimento utilizadas na demonstração. O GEN-1.5 processa imagens de vídeo junto com dados dos sensores, linguagem e informações sobre a posição e o movimento do robô. O modelo utiliza uma janela de contexto de 30 segundos e produz até 100 comandos de movimento por segundo.
Resultados iniciais com variação clara no desempenho
A empresa testou o modelo em 10 tarefas curtas de manipulação, e ele alcançou uma taxa média de sucesso de 59% usando uma única demonstração. Quando adaptado com dados de cinco minutos, que incluíam cerca de 50 demonstrações por tarefa e 10 etapas graduais, a taxa subiu para 83%. Em outro teste, baseado em um minuto de dados e uma única etapa gradual, o modelo registrou uma taxa de sucesso de 66,5%.
Esses números indicam que o GEN-1.5 consegue aproveitar poucos exemplos, mas também mostram que o desempenho ainda depende parcialmente da quantidade de dados e do grau de adaptação. A Generalist AI reconhece que as tarefas testadas eram relativamente simples e curtas, e que as taxas de sucesso atuais ainda são limitadas.
Da imitação do movimento à criação de uma nova sequência
O modelo não se limita a repetir o movimento que observa. Quando recebeu separadamente uma cena de abertura do zíper de um estojo e outra de retirada de moedas de dentro dele, conseguiu combinar os prompts físicos em uma única sequência contínua. Também criou movimentos de transição que não estavam presentes nas demonstrações, como reposicionamento e tratamento de erros.
Os exemplos da empresa mostraram a capacidade do modelo de mudar sua estratégia ao enfrentar condições inesperadas. Em uma tarefa que tinha como objetivo empurrar um objeto para dentro de um recipiente usando uma escova, o GEN-1.5 utilizou uma banana como ferramenta temporária para alcançar o mesmo objetivo. Quando encontrou uma pá, não continuou a empurrá-la; levantou o objeto e o colocou no recipiente. Também lidou com uma folha que cobria o recipiente e removeu uma peça de Lego presa ao seu dedo usando a outra mão.
Aprendizado com simulações e movimentos humanos
O modelo também permite transferir para um robô real uma demonstração registrada em um ambiente de simulação sem exemplos adicionais, embora os dados da simulação não tenham feito parte da etapa de pré-treinamento. Em algumas tarefas, ele conseguiu observar movimentos realizados por pessoas com as próprias mãos por meio das câmeras do robô e depois repetir a tarefa usando as mãos robóticas.
O que muda na prática?
A importância dessa abordagem está no potencial de reduzir a necessidade de programar cada tarefa robótica separadamente. Em vez de preparar um sistema especializado durante meses, no futuro talvez bastasse mostrar ao robô o que fazer durante alguns segundos. Mas essa conclusão não significa que o problema esteja resolvido; a empresa afirma que o pré-treinamento do GEN-1.5 continua há mais de oito meses e que o modelo ainda é testado em tarefas limitadas, com taxas de sucesso incompletas.
Segundo a Generalist AI, o modelo, ao ser treinado com uma ampla variedade de dados de interações físicas, começou a se adaptar a novas tarefas usando menos dados e capacidade computacional. A empresa afirma que as capacidades de aprendizado no contexto e de improvisação surgiram automaticamente durante o pré-treinamento, sem um método de treinamento especial ou um objetivo adicional dedicado a essas capacidades.