Align Your Rhythm: Generating Highly Aligned Dance Poses with Gating-Enhanced Rhythm-Aware Feature Representation
Created by
Haebom
저자
Congyi Fan, Jian Guan, Xuanjia Zhao, Dongli Xu, Youtian Lin, Tong Ye, Pengming Feng, Haiwei Pan
개요
본 논문은 음악에 맞춰 자연스럽고 다양하며 리듬감 있는 인간의 춤 동작을 자동으로 생성하는 새로운 프레임워크인 Danceba를 제안합니다. 기존 방법들의 한계인 비트 정렬 부족과 부자연스러운 움직임 역학 문제를 해결하기 위해, Danceba는 게이팅 메커니즘을 활용하여 리듬 인식 기능 표현을 향상시켰습니다. 구체적으로, 음악의 위상 데이터에서 리듬 정보를 정확하게 추출하는 Phase-Based Rhythm Extraction (PRE)과 전역적 리듬 특징에 집중하여 음악 리듬을 정확히 따르는 춤 동작을 보장하는 Temporal-Gated Causal Attention (TGCA)를 제안합니다. 또한, 상체와 하체 동작을 음악적 특징과 함께 별도로 모델링하는 Parallel Mamba Motion Modeling (PMMM) 아키텍처를 통해 생성된 춤 동작의 자연스러움과 다양성을 향상시킵니다. 실험 결과, Danceba는 기존 최첨단 방법보다 리듬 정렬 및 움직임 다양성 측면에서 훨씬 우수한 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
음악에 맞춘 춤 동작 생성 분야에서 기존 방법들의 한계를 극복하는 새로운 프레임워크 제시
◦
Phase-Based Rhythm Extraction (PRE), Temporal-Gated Causal Attention (TGCA), Parallel Mamba Motion Modeling (PMMM) 등의 혁신적인 기술 제안