MotionScript은 3D 인간 동작에 대한 매우 상세하고 자연스러운 언어 설명을 생성하는 새로운 프레임워크입니다. 기존의 동작 데이터셋이 광범위한 동작 레이블이나 일반적인 캡션에 의존하는 것과 달리, MotionScript는 표현적인 동작(예: 감정, 스타일리쉬한 걷기)과 표준 모션 캡처 데이터셋을 넘어서는 상호작용을 포함하여 인간 움직임의 복잡성을 완전히 포착하는 세분화되고 구조화된 설명을 제공합니다. MotionScript는 설명 도구이자 텍스트-투-모션 모델을 위한 교육 자료로서, 텍스트로부터 매우 사실적이고 다양한 인간 동작의 합성을 가능하게 합니다. MotionScript 캡션으로 모션 데이터셋을 보강함으로써, 분포 외 동작 생성의 성능이 크게 향상되어 대규모 언어 모델(LLM)이 기존 데이터를 넘어서는 동작을 생성할 수 있습니다. 또한 MotionScript는 애니메이션, 가상 인간 시뮬레이션, 로봇 공학 분야에서 직관적인 설명과 동작 합성 간의 해석 가능한 연결고리를 제공하여 새로운 응용 분야를 열어줍니다. 본 연구는 훈련 데이터 없이 3D 동작을 체계적으로 구조화된 자연어로 변환하려는 최초의 시도입니다.
