A Encord está testando o uso de ondas cerebrais para melhorar os dados usados no treinamento de robôs de armazém e robôs humanoides, em uma iniciativa voltada a um dos problemas mais difíceis da inteligência artificial física: a falta de dados de treinamento realistas e suficientes. Na unidade da empresa em San Leandro, na Califórnia, o instrutor Andrew Sicha removia peças de uma torre do jogo Jenga enquanto usava um capacete equipado com uma câmera e sensores que mediam suas ondas cerebrais.
O experimento é realizado em colaboração com a Zander Labs, uma startup alemã de neurociência. O capacete não tem como objetivo ler pensamentos, mas medir a atividade cerebral para inferir estados mentais como erro, intenção e surpresa. A parceria ainda está em estágio inicial: a Encord quer criar um conjunto de dados rotulado com ondas cerebrais e, em seguida, fornecê-lo a modelos robóticos de clientes para descobrir se ele melhora o desempenho antes de decidir ampliar seu uso.
O problema dos dados na inteligência artificial física
A Encord foi fundada para ajudar empresas que desenvolvem aplicações de visão computacional a rotular dados e avaliar modelos. Mas, à medida que seus clientes passaram a treinar modelos abrangentes para tarefas de agarrar e manipular objetos, a empresa percebeu que gerenciar os dados não era suficiente e que também precisava contribuir para produzi-los.
Vineeth Vel Morgan, chefe de aprendizado robótico da Encord, afirmou que os dados necessários simplesmente não existem. A ambição de fazer pela inteligência artificial generativa para robôs o que ela fez pelos chatbots esbarra na necessidade de dados reais do mundo físico, que são difíceis de coletar e ampliar. Empresas de veículos autônomos coletam os próprios dados do mundo real, mas essa abordagem é cara e difícil de escalar, enquanto o treinamento apenas com vídeos pode não oferecer a precisão necessária.
Vel Morgan estima que superar esse obstáculo pode exigir um conjunto de dados equivalente a cerca de cinco vezes o tamanho de um conjunto de vídeos do YouTube. Essas estimativas ajudam a explicar por que a produção de dados robóticos se tornou uma atividade comercial independente, e não apenas uma tarefa de pesquisa dentro dos laboratórios.
Do vídeo centrado no ser humano às ondas cerebrais
As empresas que desenvolvem as “mentes” dos robôs dependem atualmente de duas fontes principais de dados. A primeira é o vídeo centrado na pessoa, gravado por trabalhadores que usam câmeras, com a adição de outros ângulos de filmagem e várias medições. A segunda são dados produzidos por robôs controlados remotamente por humanos. A Encord utiliza as duas abordagens: coleta vídeos de várias fábricas ao redor do mundo e usa sua unidade em San Leandro para testar novos métodos, como ondas cerebrais, ou criar conjuntos de dados para habilidades específicas com o objetivo de ajustar os modelos.
Durante a visita à unidade, os instrutores usavam plataformas do tipo “líder e seguidor”, compostas por dois braços robóticos: o humano controla o primeiro, enquanto o segundo imita seus movimentos. Essas plataformas são usadas para registrar tarefas como servir café em xícaras e empilhar fichas de pôquer. As tarefas também incluíam conectar e desconectar cabos Ethernet na parte traseira de um servidor, uma atividade que poderia beneficiar operadores de data centers se os robôs conseguissem executá-la com a precisão necessária.
Essas tarefas revelam os limites dos robôs atuais: as pinças robóticas são menos hábeis que os dedos humanos e não têm os graus de movimento que usamos naturalmente. Por isso, a unidade armazena materiais e ferramentas variados, de flores artificiais, livros e vegetais de plástico a bandejas de areia para gatos e sacos de fios, para treinar os robôs em tarefas domésticas e habilidades de manipulação de objetos.
Sensores musculares e rotulagem densa
A Encord também trabalha em outro método, baseado em sensores presos ao antebraço para detectar sinais elétricos nos músculos. O vídeo que registra as mãos enquanto elas movimentam objetos pode não mostrar a mão inteira; por isso, Vel Morgan espera usar os sinais do antebraço para construir uma representação tridimensional da posição da mão a cada momento, dando aos modelos uma compreensão mais completa do movimento.
Os conjuntos de dados da Encord são rotulados com descrições físicas precisas do que aparece no vídeo, como “a mão direita aperta o parafuso”, para ajudar modelos baseados em grandes modelos de linguagem a entender o que está acontecendo. Vel Morgan estima que esse tipo de rotulagem densa vale 100 vezes mais, no treinamento de tarefas específicas, do que “dados centrados na pessoa” de baixa qualidade, embora sua produção custe apenas 20 vezes mais — uma relação que ele considera teoricamente aceitável.
A economia da fabricação de dados
Mas o alto custo continua sendo um desafio fundamental. Coletar textos da internet — abordagem que ajudou os laboratórios de inteligência artificial a treinar modelos de linguagem com fontes como o Stack Overflow e sites — praticamente não custa o mesmo que produzir dados de treinamento físico. Já os dados robóticos precisam ser fabricados por meio da execução, do registro e da rotulagem de tarefas reais, o que altera radicalmente a economia da construção de modelos.
A Encord considera que sua presença em um local que atende várias empresas de robótica permite observar quais métodos ganham força no setor e o que funciona ou falha na melhoria dos modelos de inteligência artificial física. Mas o experimento com ondas cerebrais ainda não provou que melhora o desempenho dos modelos, e os resultados dos testes com clientes determinarão se esses dados passarão de um experimento avançado a uma parte escalável do processo de treinamento de robôs.