본 논문은 대규모 언어 모델의 성공에 착안하여, 풍부한 비디오 데이터를 활용한 로봇 학습 개선 방안을 제시합니다. 로봇 조작 작업에 유용한 표현 방식으로서 동작 관련 지식에 중점을 둔 'Moto'라는 모델을 제안합니다. Moto는 비디오 콘텐츠를 잠재적인 동작 토큰 시퀀스로 변환하는 잠재 동작 토크나이저를 사용하여 비디오에서 동작의 '언어'를 비지도 학습 방식으로 학습합니다. Moto-GPT는 동작 토큰 자기회귀를 통해 사전 훈련되며, 의미적으로 해석 가능한 동작 토큰 생성, 타당한 동작 궤적 예측, 궤적 합리성 평가 기능을 보여줍니다. 잠재 동작 토큰 예측과 실제 로봇 제어를 원활하게 연결하는 공동 미세 조정 전략을 통해 학습된 동작 사전 지식을 실제 로봇 동작으로 전이합니다. 실험 결과, 미세 조정된 Moto-GPT는 로봇 조작 벤치마크에서 뛰어난 강건성과 효율성을 보여줍니다.
