中国具身人工智能公司X Square Robot提出了构建通用机器人的清晰构想,使机器人能够在不同任务和平台之间切换:从交互数据出发,经过物理世界模型,最终通过整合感知、规划、推理和决策的动作模型,产生可执行的行为。这一构想出现之际,机器人仍普遍依赖彼此分离的组件,而这些组件未必能够产生可从一个任务迁移到另一个任务、或从一台机器迁移到另一台机器的通用能力。
不同于受益于在广泛数据上进行预训练这一方法的大型语言模型,机器人领域目前尚未就构建通用具身智能的对应方法达成共识。X Square Robot押注的并非一个包罗万象的单一模型,而是由相互连接的层组成的方案,公司将其置于更广泛的World Unified Model方向下,融合视觉、语言、动作以及物理变化预测。
交互,而非运动轨迹
公司的构想建立在三个主要原则之上。第一,机器人数据的基本单位应当是交互,而不只是运动轨迹;一次演示是否成功,不应仅仅取决于关节是否移动,而应取决于它是否以预期方式改变了世界。第二,预训练应当产生可直接使用的能力,而不是一个仍需要大量密集微调的起点。第三,应围绕物理事件组织行为,而不是围绕固定的时间片段组织行为。
这些原则使堆栈中的各层彼此关联。用于训练动作模型的无机器人数据,也经过组织后用于为世界模型提供输入。不过,公司说明,世界模型和动作模型是两个独立且互补的模型家族,共享一个软件基础,并处于更广泛的World Unified Model架构之中。
成本更低、控制更严的数据
X Square Robot认为,通用机器人面临的瓶颈与其说在于参数数量,不如说在于交互数据的成本和质量。因此,公司开发了QUANXTA Zero Series数据收集系统。这是一种机器人操作界面,由人员穿戴配备两个夹爪的平台,而不是在记录演示时远程控制机器人。
其中最显著的差异,是将物理验证纳入质量控制环节。平台记录轨迹后,会在真实机器人上重新执行其中一部分样本,只有实际完成任务的演示才会被计入。夹爪提前几分之一秒闭合,在数据中可能看起来像是一次成功抓取,但在现实中可能会将物体推开。根据公司说法,其数据管线中的数据有效率约为85%。
公司还将大量无机器人录制的人类演示,与少量真实机器人数据结合起来,以使模型适应特定机器的动力学。公司称,这种方法能够实现接近完全依赖机器人数据集的性能,同时将收集成本降低约20倍,主要原因是可穿戴平台的成本低于远程控制设置。不过,文中提到的最强结果是在公司自有机器人和数据收集管线上测得的,因此仍需要更广泛的独立测试来验证其泛化能力。
基于事件的世界模型
公司的世界模型名为WALL-WM,将与动作相关的语义事件作为基本单位。这一单位包含连贯的行为,例如接近物体、抓住物体或放置物体;这些动作可以用语言描述、在视频中看到,也可以作为运动执行。
这种方法批评了将行为划分为固定时间窗口的做法,因为窗口边界可能落在一个动作的中间,或将两个不同动作合并在一起。因此,WALL-WM在事件模式下使用长度可变的片段,以适应对长期任务的推理;同时还提供固定长度模式,用于生成控制单元可以使用的稳定实时输出。
为了保留大型视频模型已有的视觉知识,该设计将文本到视频转换模型与新近适配的动作网络连接起来,后者读取视频特征而不覆盖这些特征。公司称,其实验包括在训练期间未见过的设置中测试长期任务泛化能力;在公司真实机器人基准上,该模型优于在相关数据上进行微调的基线模型。不过,根据本文,这些结果仍是在内部基准上测得的,而代码的发布将使社区能够进行测试和复现。
可部署的动作模型与语义编码
Wall-OSS-0.5是公司的视觉—语言—动作模型。X Square Robot为自己设定了严格标准:预训练模型应当能够在真实机器人上运行,然后才进行针对特定任务的微调。
该模型同时训练三个目标:离散动作符号、语言与动作之间的对齐,以及连续动作生成;同时让梯度通过这些组件传播,而不是冻结网络的部分模块。公司列举了一些未经微调的行为,包括接近、抓取和恢复,其中还包括一项训练数据中未出现可变形物体的任务。
至于X-Tokenizer动作接口,它将把连续运动转换为符号重新定义为学习一种语义接口。更高层级的符号表达运动意图,而更低层级的符号承载精细细节,同时使这些表示与语言模型的特征相匹配。根据公司的描述,向动作中加入噪声只会轻微改变意图符号,这有助于在不同机器人之间复用该编码器,而无需重新调整。
还有什么需要证明?
本文认为,将通过物理重放实现的数据质量控制、基于事件的建模,以及微调前的可部署性标准结合起来,使X Square Robot的方法具备鲜明的一致性。不过,这尚未解决其能否扩展到公司生态之外的问题。公司估值已升至超过200亿元人民币,即约29亿美元,这表明投资者相信数据基础设施、基础模型和可扩展训练系统对于具身人工智能的重要性,但其本身并不构成技术性能的证据。
公司邀请研究人员测试三件事:基于事件的表示能否在不同任务、场景、物体、机器人和失败条件之间泛化;预训练在训练期间未见过的机器人上是否仍然有效;以及是否能够建立一套针对真实机器人的共同评估体系,不仅比较成功率,还确定失败原因,例如误解指令、感知失效或恢复能力不足。
按照X Square Robot的构想,机器人进入家庭需要的不只是提高单项任务的成功率。可靠的家用机器人应当意识到自身的不确定性,在必要时放慢速度,请求帮助,并在物体掉落或误解请求后将环境恢复到安全状态。它还需要谨慎地进行个性化学习,在学习家庭日常习惯和偏好的同时,将安全与信任置于优先位置。鉴于目前的证据在很大程度上仍依赖公司自有机器人及其基准,这一构想仍是一项重要的技术论述,等待研究界进行更广泛的验证。