Encord는 창고 로봇과 휴머노이드 로봇의 훈련 데이터를 개선하기 위해 뇌파를 사용하는 방안을 시험하고 있다. 이는 물리적 AI가 직면한 가장 어려운 문제 중 하나인 충분하고 현실적인 훈련 데이터의 부족을 겨냥한 조치다. 캘리포니아주 샌리앤드로에 있는 회사 시설에서 트레이너 앤드루 세이카는 카메라와 자신의 뇌파를 측정하는 센서가 장착된 헬멧을 착용한 채 젠가 게임 탑에서 조각들을 제거하고 있었다.
이 실험은 독일의 신경과학 스타트업인 Zander Labs와 공동으로 진행된다. 헬멧은 생각을 읽기 위한 것이 아니라 뇌 활동을 측정해 오류, 의도, 놀라움과 같은 정신 상태를 추론하기 위한 것이다. 이 협력은 아직 초기 단계의 실험이다. Encord는 뇌파가 주석으로 붙은 데이터 세트를 만든 뒤 이를 고객의 로봇 모델에 입력해 성능이 향상되는지 확인하고, 사용 확대 여부를 결정할 계획이다.
물리적 AI의 데이터 문제
Encord는 컴퓨터 비전 애플리케이션을 개발하는 기업이 데이터를 주석 처리하고 모델을 평가할 수 있도록 돕기 위해 설립됐다. 그러나 고객들이 물체를 잡고 조작하는 작업을 위한 종합 모델 훈련으로 이동하면서, 회사는 데이터 관리만으로는 충분하지 않으며 데이터 생산에도 기여해야 한다는 사실을 깨달았다.
Encord의 로봇 학습 책임자인 비네스 필 모건은 필요한 데이터가 단순히 존재하지 않는다고 말했다. 생성형 AI가 로봇에 대해 챗봇에서 이룬 성과를 재현하려는 야망은 실제 물리적 세계의 데이터가 필요하다는 문제와 충돌한다. 이러한 데이터는 수집과 확장이 어렵다. 자율주행차 기업들은 실제 세계 데이터를 직접 수집하지만, 이 방식은 비용이 많이 들고 확장하기 어렵다. 반면 비디오만을 활용한 훈련은 요구되는 정확도를 제공하지 못할 수 있다.
필 모건은 이러한 장애물을 넘어서려면 YouTube 동영상 데이터 세트의 약 5배에 해당하는 데이터 세트가 필요할 수 있다고 추정한다. 이러한 추정은 로봇 데이터 생산이 더 이상 연구실 내부의 연구 과제가 아니라 독립적인 사업 활동으로 전환되는 이유를 설명하는 데 도움이 된다.
사람 중심 비디오에서 뇌파까지
로봇의 “두뇌”를 개발하는 기업들은 현재 두 가지 주요 데이터 출처에 의존한다. 첫 번째는 작업자가 카메라를 착용하고 촬영하는 사람 중심 비디오로, 여기에 다른 촬영 각도와 다양한 측정값이 추가된다. 두 번째는 인간이 원격으로 조종하는 로봇이 생성하는 데이터다. Encord는 두 가지 방식을 모두 사용한다. 전 세계 여러 공장에서 비디오를 수집하고, 샌리앤드로 시설에서 뇌파와 같은 새로운 방법을 실험하거나 모델을 미세 조정하기 위한 특정 기술 데이터 세트를 만든다.
시설을 방문했을 때 트레이너들은 “리더와 팔로워” 유형의 플랫폼을 사용하고 있었다. 이 플랫폼은 두 개의 로봇 팔로 구성되며, 인간이 하나를 조종하면 다른 하나가 그 움직임을 따라 한다. 이러한 플랫폼은 컵에 커피를 따르고 포커 칩을 쌓는 작업 등을 기록하는 데 사용된다. 작업에는 서버 후면의 이더넷 케이블을 연결하고 분리하는 일도 포함됐다. 로봇이 요구되는 정확도로 이를 수행할 수 있다면 데이터센터 운영자에게 유용할 수 있는 작업이다.
이러한 작업은 현재 로봇의 한계를 드러낸다. 로봇 그리퍼는 인간의 손가락보다 능숙하지 못하고, 우리가 자연스럽게 사용하는 움직임의 자유도가 부족하다. 그래서 이 시설에는 조화와 책, 플라스틱 채소부터 고양이 배설물 트레이와 전선 봉투까지 다양한 재료와 도구가 마련되어 로봇이 가정 내 작업과 물체 조작 기술을 훈련할 수 있도록 한다.
근육 센서와 고밀도 주석 처리
Encord는 팔뚝에 부착해 근육의 전기 신호를 감지하는 센서를 활용한 또 다른 방법도 연구하고 있다. 물체를 움직이는 손을 촬영한 비디오는 손 전체를 보여주지 못할 수 있다. 따라서 필 모건은 팔뚝 신호를 사용해 매 순간 손의 위치에 대한 3차원 표현을 구축하고, 이를 통해 모델이 움직임을 더욱 완전하게 이해하도록 하기를 기대한다.
Encord의 데이터 세트에는 비디오에 나타나는 내용을 물리적으로 정확하게 설명하는 주석이 붙는다. 예를 들어 “오른손이 나사를 당긴다”와 같은 표현을 사용해 대규모 언어 모델 기반 모델이 어떤 일이 일어나고 있는지 이해하도록 돕는다. 필 모건은 이러한 고밀도 주석이 특정 작업 훈련에서 품질이 낮은 “사람 중심 데이터”보다 100배의 가치가 있는 반면, 제작 비용은 20배에 불과하다고 추정한다. 이론적으로 그는 이를 수용 가능한 절충으로 본다.
데이터 제작의 경제성
그러나 높은 비용은 여전히 핵심 과제다. Stack Overflow와 웹사이트 같은 출처에서 언어 모델을 훈련하는 데 AI 연구소를 도왔던 인터넷 텍스트 수집 방식은 물리적 훈련 데이터 생산에 드는 비용과 거의 비교할 수 없을 정도로 저렴하다. 반면 로봇 데이터는 실제 작업을 수행하고 이를 기록한 뒤 주석을 붙여 제작해야 하므로, 모델 구축의 경제성을 근본적으로 바꾼다.
Encord는 여러 로봇 기업과 협력하는 위치에 있기 때문에 업계에서 추진력을 얻는 방법과 물리적 AI 모델 개선에 성공하거나 실패하는 요소를 파악할 수 있다고 본다. 그러나 뇌파 실험이 아직 모델 성능을 향상한다는 사실은 입증되지 않았다. 고객과 함께 진행하는 테스트 결과에 따라 이러한 데이터가 첨단 실험에서 로봇 훈련 과정의 확장 가능한 일부로 전환될 수 있을지가 결정될 것이다.