Encordは、倉庫ロボットやヒューマノイドロボットの訓練に使われるデータを改善するため、脳波の利用を試験している。これは、物理AIが直面する最も難しい問題の一つである、現実的で十分な訓練データの不足を解決することを目指す取り組みだ。カリフォルニア州サンリアンドロにある同社の施設では、トレーナーのアンドリュー・セハが、脳波を測定するカメラとセンサーを備えたヘルメットを装着しながら、ジェンガの塔からブロックを取り除いていた。
この実験は、神経科学分野のドイツのスタートアップ企業Zander Labsとの協力で行われている。ヘルメットは思考を読み取ることを目的とするものではなく、脳の活動を測定し、ミス、意図、驚きといった精神状態を推定することを目的としている。この提携はまだ初期段階の実験であり、Encordは脳波データでラベル付けしたデータセットを作成し、それを顧客のロボットモデルに投入して性能が向上するかを確認したうえで、利用を拡大するか判断したいと考えている。
物理AIにおけるデータの問題
Encordはもともと、コンピュータービジョンのアプリケーションを開発する企業を支援し、データのラベル付けやモデルの評価を行うために設立された。しかし顧客が、物体をつかんだり操作したりするタスク向けの包括的なモデルの訓練に移行するなかで、同社はデータ管理だけでは不十分であり、データの生成にも貢献する必要があると認識した。
Encordでロボット学習部門の責任者を務めるヴィニース・フィル・モーガンは、必要なデータが単純に存在していないと述べた。生成AIがチャットボットにもたらした成果をロボットで実現しようとする構想は、物理世界から得られる現実のデータを必要とする。しかし、そのデータの収集と拡張は難しい。自動運転車の企業は現実世界のデータを自ら収集しているが、この方法はコストが高く、拡張も難しい。一方、動画だけを使った訓練では、必要な精度を得られない可能性がある。
フィル・モーガンは、この障害を乗り越えるには、YouTube動画のデータセットの約5倍に相当するデータセットが必要になる可能性があると見積もっている。こうした推計は、ロボットデータの生成が、研究室内の単なる研究課題ではなく、独立したビジネスになりつつある理由を説明するのに役立つ。
人間中心の動画から脳波へ
ロボットの「頭脳」を開発する企業は現在、主に2つのデータソースに依存している。1つ目は人間中心の動画で、カメラを身に着けた作業員が撮影し、別の撮影角度やさまざまな測定データを加える。2つ目は、人間が遠隔操作するロボットによって生成されるデータだ。Encordは両方の手法を使用しており、世界各地の複数の工場から動画を収集するとともに、サンリアンドロの施設で、脳波などの新たな手法を試したり、モデルの調整を目的に特定の技能向けデータセットを作成したりしている。
施設の訪問中、トレーナーたちは「マスター・スレーブ」方式のプラットフォームを使っていた。これは2本のロボットアームで構成され、人間が一方を操作すると、もう一方がその動きを模倣する。このプラットフォームは、カップにコーヒーを注いだり、ポーカーチップを積み重ねたりするタスクの記録に使われている。タスクには、サーバー背面のイーサネットケーブルを接続・取り外しする作業も含まれていた。ロボットが必要な精度で実行できれば、データセンターの運用者に役立つ可能性がある作業だ。
こうしたタスクは、現在のロボットの限界を明らかにしている。ロボットのグリッパーは人間の指ほど器用ではなく、人間が自然に使っている関節の自由度も欠いている。そのため施設には、造花、書籍、プラスチック製の野菜から、猫用トイレのトレーやワイヤーバッグまで、さまざまな素材や道具が保管されている。ロボットに家庭内の作業や物体操作の技能を訓練させるためだ。
筋肉センサーと密なラベリング
Encordは、前腕に取り付けて筋肉の電気信号を検出するセンサーを使った別の手法にも取り組んでいる。物体を動かしている手を撮影した動画では、手全体が映らない場合があるため、フィル・モーガンは前腕の信号を使って、あらゆる瞬間の手の位置を3次元的に把握し、モデルに動きについてより完全な理解を与えたいと考えている。
Encordのデータセットには、動画に映る内容について、「右手がねじを引っ張る」といった物理的に正確な説明がラベル付けされている。大規模言語モデルを基盤とするモデルが何が起きているかを理解できるようにするためだ。フィル・モーガンは、この種の密なラベリングは、特定のタスクの訓練において、低品質な「人間中心のデータ」の価値の100倍に相当すると見積もっている。一方、その生成コストはわずか20倍であり、理論上は受け入れ可能なトレードオフだと考えている。
データ製造の経済性
しかし、コストの高さは依然として主要な課題だ。Stack Overflowやウェブサイトなどの情報源から言語モデルを訓練することをAI研究所に可能にした、インターネットからテキストを収集する手法は、物理AIの訓練データを生成する場合ほどのコストはほとんどかからない。ロボットデータは、現実のタスクを実行し、それを記録してラベル付けすることで製造しなければならず、そのことがモデル構築の経済性を根本的に変えている。
Encordは、複数のロボット企業と関わる立場にあることで、業界で勢いを得ている手法や、物理AIモデルの改善において成功または失敗しているものを把握できると考えている。しかし、脳波の実験がモデルの性能を改善することはまだ証明されていない。顧客とのテスト結果によって、このデータが先進的な実験から、ロボット訓練プロセスの拡張可能な一部へと変わるかどうかが決まることになる。