ExGes: Expressive Human Motion Retrieval and Modulation for Audio-Driven Gesture Synthesis
Created by
Haebom
Category
Empty
저자
Xukun Zhou, Fengxin Li, Ming Chen, Yan Zhou, Pengfei Wan, Di Zhang, Hongyan Liu, Jun He, Zhaoxin Fan
개요
본 논문은 오디오 기반 인간 제스처 합성을 위한 새로운 프레임워크인 ExGes를 제안합니다. ExGes는 기존 방법들의 거칠고 표현력이 부족하며 오디오 의미와 완전히 일치하지 않는 문제점을 해결하기 위해 세 가지 핵심 설계를 도입합니다. 첫째, 훈련 데이터셋을 사용하여 제스처 라이브러리를 구축하는 동작 기반 구축(Motion Base Construction)입니다. 둘째, 대조 학습과 모멘텀 증류를 활용하여 세밀한 참조 자세를 검색하는 동작 검색 모듈(Motion Retrieval Module)입니다. 셋째, 부분 마스킹과 확률적 마스킹을 통합하여 유연하고 세밀한 제어를 가능하게 하는 정밀 제어 모듈(Precision Control Module)입니다. BEAT2 데이터셋에서의 실험 결과, ExGes는 EMAGE에 비해 Frechet Gesture Distance를 6.2% 감소시키고 동작 다양성을 5.3% 향상시켰으며, 사용자 연구에서는 자연스러움과 의미 관련성 측면에서 71.3%의 선호도를 보였습니다.
