PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance
작성자
- Haebom
카테고리
비어 있음
저자
Qijun Gan, Song Wang, Shengtao Wu, Jianke Zhu
개요
본 논문은 효과적인 악기 교육 시스템 설계의 어려움을 해결하기 위해, 피아노 연주 시 손 동작 및 지판 사용법을 안내하는 피아노 손 동작 생성 벤치마크를 구축한 연구입니다. 116시간 분량의 피아노 연주 영상을 담은 주석이 달린 데이터셋 PianoMotion10M (1000만 개의 주석이 달린 손 동작 포함)을 수집하여, 위치 예측기와 위치 기반 제스처 생성기를 사용하여 오디오로부터 손 동작을 생성하는 강력한 기준 모델을 제시합니다. 또한, 동작 유사성, 부드러움, 좌우 손의 위치 정확도, 전반적인 움직임 분포의 충실도를 포함한 일련의 평가 지표를 설계하여 기준 모델의 성능을 평가합니다. 음악 악보나 오디오에 대한 피아노 건반 압력은 이미 접근 가능하지만, PianoMotion10M은 교육 목적으로 피아노 지판 사용법에 대한 안내를 제공하는 것을 목표로 합니다. 소스 코드와 데이터셋은 https://github.com/agnJason/PianoMotion10M 에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
피아노 연주 교육을 위한 새로운 데이터셋과 벤치마크 제공
◦
오디오 기반 피아노 손 동작 생성 모델 제시
◦
다양한 평가 지표를 통한 모델 성능 측정
◦
피아노 지판 사용법 교육에 대한 새로운 접근 방식 제시
•
한계점:
◦
데이터셋의 다양성 (연주자, 연주 스타일 등)에 대한 추가적인 분석 필요
◦
제시된 모델의 일반화 성능에 대한 추가적인 검증 필요
◦
실제 교육 환경에서의 모델 적용 및 효과에 대한 추가적인 연구 필요
