How to Move Your Dragon: Text-to-Motion Synthesis for Large-Vocabulary Objects
Created by
- Haebom
Category
Empty
저자
Wonkwang Lee, Jongwon Jeong, Taehong Moon, Hyeon-Jong Kim, Jaehyeon Kim, Gunhee Kim, Byeong-Uk Lee
개요
본 논문은 다양한 객체 종류에 대한 동작 합성의 잠재력을 인지하고, 고품질 동작 및 주석이 포함된 광범위한 데이터셋 부족과 다양한 객체의 이질적인 골격 템플릿 처리 능력 부재라는 두 가지 주요 과제를 해결하는 데 집중합니다. 70종 이상의 동물 동작 데이터셋인 Truebones Zoo 데이터셋에 상세한 텍스트 설명을 추가하여 텍스트 기반 동작 합성에 적합하게 만들고, 다양한 동작 데이터를 생성하면서 일관된 역동성을 유지하는 리깅 증강 기법을 도입하여 다양한 골격 구성에 적응할 수 있도록 합니다. 또한, 기존 동작 확산 모델을 재설계하여 임의의 골격 템플릿에 동적으로 적응하여 다양한 구조의 객체에 대한 동작 합성을 가능하게 합니다. 실험 결과, 본 논문의 방법이 다양하고 심지어 보지 못한 객체에 대해서도 텍스트 설명으로부터 고충실도 동작을 생성하는 것을 보여주며, 다양한 객체 범주와 골격 템플릿에 걸친 동작 합성에 대한 강력한 기반을 마련합니다.
시사점, 한계점
•
시사점:
◦
Truebones Zoo 데이터셋에 대한 텍스트 주석 추가를 통해 텍스트 기반 동작 합성을 위한 고품질 데이터셋을 제공합니다.
◦
다양한 골격 구성에 적응 가능한 리깅 증강 기법을 제시합니다.
◦
임의의 골격 템플릿에 동적으로 적응하는 동작 확산 모델을 설계하여 다양한 객체에 대한 동작 합성을 가능하게 합니다.
◦
다양한 객체와 보지 못한 객체에 대해서도 고충실도 동작 생성을 실험적으로 증명합니다.
•
한계점:
◦
Truebones Zoo 데이터셋을 기반으로 하므로, 다른 종류의 객체(예: 무생물)에 대한 일반화 성능은 추가 연구가 필요합니다.
◦
리깅 증강 기법의 효율성 및 한계에 대한 추가적인 분석이 필요합니다.
◦
다양한 골격 템플릿에 대한 적응력의 한계 및 개선 여지에 대한 추가적인 연구가 필요합니다.
◦
실제 세계 데이터에 대한 적용 및 성능 평가가 부족합니다.
