Generalist AI는 로봇을 위한 기반 모델 GEN-1.5를 공개했다. 이 모델은 전문적인 프로그래밍이나 작업별 훈련 및 미세 조정 과정에 의존하지 않고, 짧은 한 번의 시연만으로 새로운 물리적 작업을 학습할 수 있다. 회사가 공개한 정보에 따르면, 모델은 3~12초 길이의 시연을 분석하고 점진적인 업데이트나 추가 미세 조정 과정 없이 작업을 수행할 수 있다.
Generalist AI는 이러한 유형의 예시를 ‘물리적 프롬프트’라고 부른다. 이는 시연에 사용된 센서 데이터와 동작 시퀀스를 결합한 맥락이다. GEN-1.5는 영상 이미지와 함께 센서 데이터, 언어, 로봇의 위치 및 움직임 정보를 처리한다. 이 모델은 30초 길이의 컨텍스트 창을 사용하며, 초당 최대 100개의 동작 명령을 생성한다.
초기 결과와 뚜렷한 성능 편차
회사는 10개의 짧은 조작 작업에서 모델을 테스트했으며, 한 번의 시연만 사용했을 때 평균 성공률은 59%였다. 작업별 약 50회의 시연을 포함한 5분 길이의 데이터와 10회의 점진적 단계로 모델을 조정하자 성공률은 83%로 상승했다. 1분 분량의 데이터와 한 번의 점진적 단계에 기반한 또 다른 테스트에서는 모델이 66.5%의 성공률을 기록했다.
이 수치는 GEN-1.5가 적은 수의 예시를 활용할 수 있음을 보여주지만, 성능이 여전히 데이터의 양과 조정 수준에 부분적으로 좌우된다는 점도 드러낸다. Generalist AI는 테스트한 작업이 비교적 단순하고 짧으며, 현재의 성공률도 여전히 제한적이라고 인정한다.
동작 모방에서 새로운 시퀀스 구축으로
이 모델은 본 동작을 단순히 반복하는 데 그치지 않는다. 필통의 지퍼를 여는 장면과 그 안에서 동전을 꺼내는 장면을 각각 별도로 보여주자, 물리적 프롬프트를 하나의 연속적인 시퀀스로 결합할 수 있었다. 또한 시연에는 없었던 위치 재조정과 오류 대처 같은 전환 동작도 생성했다.
회사의 사례는 예상치 못한 상황에 직면했을 때 모델이 전략을 바꿀 수 있음을 보여줬다. 브러시를 사용해 물체를 용기 안으로 밀어 넣는 작업에서 GEN-1.5는 같은 목적을 달성하기 위한 임시 도구로 바나나를 사용했다. 또 삽을 마주했을 때는 삽으로 계속 밀지 않고 물체를 들어 용기 안에 넣었다. 용기를 덮고 있던 종이를 처리했으며, 손가락에 걸린 Lego 조각을 다른 손으로 제거하기도 했다.
시뮬레이션과 인간의 동작을 통한 학습
이 모델은 추가 예시 없이 시뮬레이션 환경에서 기록된 시연을 실제 로봇으로 전이할 수도 있다. 시뮬레이션 데이터는 사전 훈련 단계에 포함되지 않았음에도 가능했다. 일부 작업에서는 로봇 카메라를 통해 사람이 손으로 수행하는 동작을 관찰한 뒤, 로봇의 두 손을 사용해 해당 작업을 다시 수행할 수 있었다.
실질적으로 무엇이 달라지는가?
이 접근법의 중요성은 각 로봇 작업을 개별적으로 프로그래밍해야 할 필요를 줄일 가능성에 있다. 앞으로는 수개월 동안 전문 시스템을 준비하는 대신, 로봇 앞에서 몇 초 동안 원하는 작업을 보여주는 것만으로 충분할 수 있다. 그러나 이러한 결론이 문제가 해결되었다는 뜻은 아니다. 회사에 따르면 GEN-1.5의 사전 훈련은 8개월 넘게 계속되고 있으며, 모델은 여전히 제한된 작업과 불완전한 성공률을 대상으로 테스트되고 있다.
Generalist AI에 따르면, 광범위한 물리적 상호작용 데이터로 훈련된 모델은 더 적은 데이터와 계산 능력으로 새로운 작업에 적응하기 시작했다. 회사는 컨텍스트 내 학습과 즉흥 대응 능력이 특별한 훈련 방식이나 이러한 능력에 맞춘 추가 목표 없이 사전 훈련 과정에서 자연스럽게 나타났다고 말한다.