Align Your Rhythm: Generating Highly Aligned Dance Poses with Gating-Enhanced Rhythm-Aware Feature Representation
Created by
Haebom
Category
Empty
저자
Congyi Fan, Jian Guan, Xuanjia Zhao, Dongli Xu, Youtian Lin, Tong Ye, Pengming Feng, Haiwei Pan
개요
Danceba는 음악에 맞춰 자연스럽고 다양하며 리듬감 있는 인간의 춤 동작을 자동으로 생성하는 새로운 프레임워크입니다. 기존 방법들의 비트 정렬 부족과 부자연스러운 동작 역학 문제를 해결하기 위해, 위상 기반 리듬 추출(PRE)을 통해 음악의 위상 데이터에서 리듬 정보를 정확하게 추출하고, 시간 게이트 인과 주의(TGCA)를 사용하여 전반적인 리듬 특징에 집중하여 음악 리듬을 정확히 따르는 춤 동작을 생성합니다. 또한, 병렬 맘바 모션 모델링(PMMM) 아키텍처를 통해 상체와 하체 동작을 음악 특징과 함께 별도로 모델링하여 생성된 춤 동작의 자연스러움과 다양성을 향상시킵니다. 실험 결과, Danceba는 기존 최첨단 방법보다 리듬 정렬과 동작 다양성이 훨씬 뛰어남을 확인했습니다.
시사점, 한계점
•
시사점:
◦
음악에 맞춘 춤 생성 분야에서 리듬 정렬 및 동작 다양성을 크게 향상시켰습니다.
◦
PRE, TGCA, PMMM 등의 새로운 기법을 통해 음악 기반 춤 생성의 성능을 개선했습니다.
