Encord正在测试利用脑电波改进仓储机器人和类人机器人训练数据的方法，此举旨在应对具身智能最棘手的问题之一：缺乏充足的真实训练数据。在该公司位于加利福尼亚州圣莱安德罗的设施内，培训师安德鲁·西哈戴着配备摄像头和脑电波测量传感器的头盔，从一座叠叠乐积木塔中取下积木。
这项实验与德国神经科学初创公司Zander Labs合作开展。头盔并非用于读取思想，而是测量大脑活动，以推断错误、意图和惊讶等心理状态。这项合作仍处于早期试验阶段；Encord希望创建一套带有脑电波标注的数据集，然后将其输入客户的机器人模型，以了解这些数据是否能够改善性能，再决定是否扩大使用规模。
具身智能的数据问题
Encord成立之初，旨在帮助开发计算机视觉应用的公司标注数据并评估模型。但随着客户转向训练用于抓取和操纵物体等任务的通用模型，该公司意识到，仅管理数据并不足够，它还必须参与数据的生成。
Encord机器人学习负责人维奈斯·维尔·摩根表示，所需的数据根本不存在。让机器人的生成式人工智能实现类似聊天机器人所取得的成果，需要来自物理世界的真实数据，而这类数据难以收集和规模化。自动驾驶汽车公司会自行收集真实世界数据，但这种方式成本高且难以扩展；另一方面，仅依靠视频进行训练可能无法提供所需的精确度。
维尔·摩根估计，要克服这一障碍，可能需要一套规模约为YouTube视频数据集五倍的数据集。这些估算有助于解释为什么机器人数据生产正成为一项独立的商业活动，而不再只是实验室内部的研究任务。
从以人为中心的视频到脑电波
目前，机器人“大脑”开发公司主要依赖两类数据来源。第一类是以人为中心的视频，由佩戴摄像头的工人拍摄，并加入其他拍摄角度和各种测量数据。第二类是由人类远程操控机器人产生的数据。Encord采用这两种方法，从世界各地的多家工厂收集视频，并利用其圣莱安德罗设施测试脑电波等新方法，或创建针对特定技能的数据集，以调整模型。
在参观该设施期间，培训师使用了“主从”类型的平台，由两条机械臂组成；人类控制第一条机械臂，第二条机械臂则模仿其动作。这些平台用于记录向杯子中倒咖啡、堆叠扑克筹码等任务。任务还包括在服务器后部连接和拔下以太网线；如果机器人能够以所需精度完成这项工作，数据中心运营商可能会从中受益。
这些任务揭示了当前机器人的局限性；机械夹爪不如人类手指灵巧，也缺乏我们能够自然使用的运动自由度。因此，该设施储存了各种材料和工具，从人造花、书籍和塑料蔬菜，到猫砂盆和线材袋，用于训练机器人执行家务任务和物体操纵技能。
肌肉传感器与密集标注
Encord还在研究另一种方法，即在前臂上安装传感器，以监测肌肉中的电信号。拍摄手部移动物体的视频可能无法呈现完整的手部，因此维尔·摩根希望利用前臂信号，在每一时刻构建手部位置的三维图像，从而让模型更完整地理解动作。
Encord的数据集会对视频中出现的内容进行精确的物理描述标注，例如“右手拧紧螺丝”，以帮助基于大型语言模型的模型理解正在发生的事情。维尔·摩根估计，在特定任务的训练中，这种密集标注的价值是低质量“以人为中心的数据”的100倍，而其生产成本仅为20倍；从理论上看，他认为这是一种可以接受的权衡。
数据制造经济学
但成本上升仍是一个主要挑战。从互联网收集文本——这种方法帮助人工智能实验室利用Stack Overflow和各类网站等来源训练语言模型——其成本几乎无法与生产具身智能训练数据的成本相比。机器人数据必须通过执行、记录并标注真实任务来制造，这从根本上改变了构建模型的经济学。
Encord认为，其身处一个与多家机器人公司合作的环境中，因此能够观察行业中正在获得势头的方法，以及哪些做法在改进具身智能模型方面成功或失败。但脑电波实验尚未证明能够提升模型性能；与客户进行的测试结果将决定这些数据会否从一项先进实验转变为机器人训练流程中可规模化的一部分。