La empresa Encord está probando el uso de ondas cerebrales para mejorar los datos con los que se entrenan robots de almacén y robots humanoides, en un paso dirigido a uno de los problemas más difíciles de la inteligencia artificial física: la falta de datos de entrenamiento realistas y suficientes. En las instalaciones de la empresa en San Leandro, California, el instructor Andrew Sicha retiraba piezas de una torre del juego Jenga mientras llevaba un casco equipado con una cámara y sensores que medían sus ondas cerebrales.
Este experimento se lleva a cabo en colaboración con Zander Labs, una startup alemana de neurociencia. El casco no pretende leer pensamientos, sino medir la actividad cerebral para inferir estados mentales como el error, la intención y la sorpresa. La asociación aún se encuentra en una fase inicial: Encord quiere crear un conjunto de datos etiquetado con ondas cerebrales y después introducirlo en modelos robóticos de sus clientes para comprobar si mejora el rendimiento antes de decidir si amplía su uso.
El problema de los datos en la inteligencia artificial física
Encord se fundó para ayudar a las empresas que desarrollan aplicaciones de visión por ordenador a etiquetar datos y evaluar modelos. Sin embargo, cuando sus clientes comenzaron a entrenar modelos integrales para tareas de agarre y manipulación de objetos, la empresa comprendió que gestionar los datos no era suficiente y que también debía contribuir a producirlos.
Vinith Vel Morgan, responsable de aprendizaje robótico de Encord, afirmó que los datos necesarios sencillamente no existen. La ambición de conseguir para los robots de inteligencia artificial generativa lo que esta ha logrado para los chatbots se enfrenta a la necesidad de contar con datos reales del mundo físico, difíciles de recopilar y escalar. Las empresas de vehículos autónomos reúnen por sí mismas datos del mundo real, pero este enfoque es costoso y difícil de ampliar, mientras que el entrenamiento basado únicamente en vídeo podría no proporcionar la precisión necesaria.
Vel Morgan estima que superar este obstáculo podría requerir un conjunto de datos equivalente a aproximadamente cinco veces el tamaño del conjunto de vídeos de YouTube. Estas estimaciones ayudan a explicar la transformación de la producción de datos robóticos en una actividad comercial independiente, y no solo en una tarea de investigación dentro de los laboratorios.
Del vídeo centrado en las personas a las ondas cerebrales
Las empresas que desarrollan las “mentes” de los robots dependen actualmente de dos fuentes principales de datos. La primera es el vídeo centrado en la persona, grabado por trabajadores que llevan cámaras, con la incorporación de otros ángulos de filmación y diversas mediciones. La segunda son los datos producidos por robots controlados a distancia por seres humanos. Encord utiliza ambos enfoques: recopila vídeos de varias fábricas de todo el mundo y emplea sus instalaciones de San Leandro para probar nuevos métodos, como las ondas cerebrales, o para crear conjuntos de datos destinados a habilidades específicas con el fin de ajustar los modelos.
Durante la visita a las instalaciones, los instructores utilizaban plataformas del tipo “líder-seguidor”, compuestas por dos brazos robóticos: el ser humano controla el primero y el segundo imita sus movimientos. Estas plataformas se utilizan para registrar tareas como servir café en tazas y apilar fichas de póquer. Las tareas también incluían conectar y desconectar cables Ethernet en la parte posterior de un servidor, una labor que podría beneficiar a los operadores de centros de datos si los robots logran ejecutarla con la precisión necesaria.
Estas tareas revelan los límites actuales de los robots: las pinzas robóticas son menos hábiles que los dedos humanos y carecen de los grados de movimiento que utilizamos de forma natural. Por eso, las instalaciones almacenan diversos materiales y herramientas, desde flores artificiales, libros y verduras de plástico hasta bandejas de arena para gatos y bolsas de cables, para entrenar a los robots en tareas domésticas y habilidades de manipulación de objetos.
Sensores musculares y etiquetado denso
Encord también trabaja en otro método basado en sensores colocados en el antebrazo para detectar las señales eléctricas de los músculos. El vídeo que muestra las manos mientras mueven objetos podría no mostrar la mano completa, por lo que Vel Morgan espera utilizar las señales del antebrazo para construir una representación tridimensional de la posición de la mano en cada momento, lo que proporcionaría a los modelos una comprensión más completa del movimiento.
Los conjuntos de datos de Encord se etiquetan con descripciones físicas precisas de lo que aparece en el vídeo, como “la mano derecha aprieta el tornillo”, para ayudar a los modelos basados en grandes modelos de lenguaje a comprender lo que ocurre. Vel Morgan estima que este tipo de etiquetado denso vale 100 veces más, para el entrenamiento en tareas específicas, que los “datos centrados en la persona” de baja calidad, mientras que producirlo solo cuesta 20 veces más, lo que considera un intercambio teóricamente aceptable.
La economía de fabricar datos
Sin embargo, el elevado coste sigue siendo un desafío fundamental. Recopilar textos de internet, el enfoque que ayudó a los laboratorios de inteligencia artificial a entrenar modelos de lenguaje a partir de fuentes como Stack Overflow y sitios web, no cuesta ni de lejos lo mismo que producir datos de entrenamiento físico. Los datos robóticos deben fabricarse mediante la ejecución, grabación y etiquetado de tareas reales, lo que cambia radicalmente la economía de construir modelos.
Encord considera que su presencia en un lugar que trabaja con varias empresas de robótica le permite observar qué métodos están cobrando impulso en el sector y qué funciona o fracasa a la hora de mejorar los modelos de inteligencia artificial física. Sin embargo, el experimento con ondas cerebrales aún no ha demostrado que mejore el rendimiento de los modelos, y los resultados de las pruebas con clientes determinarán si estos datos pasan de ser un experimento avanzado a convertirse en una parte escalable del proceso de entrenamiento de robots.