Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PianoVAM: A Multimodal Piano Performance Dataset

Created by
  • Haebom

저자

Yonghyun Kim, Junhyung Park, Joonhyung Bae, Kirak Kim, Taegyun Kwon, Alexander Lerch, Juhan Nam

개요

PianoVAM은 다양한 모드(비디오, 오디오, MIDI, 손 랜드마크, 지판 표기, 풍부한 메타데이터)를 포함하는 포괄적인 피아노 연주 데이터셋입니다. 아마추어 피아니스트들의 일상 연습 세션을 Disklavier 피아노를 사용하여 녹음되었으며, 실제 다양한 연주 환경에서 동기화된 상단 시점 비디오와 함께 오디오 및 MIDI 데이터를 캡처했습니다. 사전 훈련된 손 자세 추정 모델과 반자동 지판 표기 알고리즘을 사용하여 손 랜드마크와 지판 표기를 추출했습니다. 데이터 수집 및 다양한 모드 간의 정렬 과정에서 발생한 어려움과 비디오에서 추출된 손 랜드마크를 기반으로 한 지판 표기 방법을 논의하고, PianoVAM 데이터셋을 사용한 오디오 전용 및 시청각 피아노 트랜스크립션에 대한 벤치마킹 결과를 제시하며 추가적인 잠재적 응용 분야를 논의합니다.

시사점, 한계점

시사점:
다양한 모드의 데이터를 포함하는 포괄적인 피아노 연주 데이터셋 제공으로 MIR 분야 연구 발전에 기여.
실제 연주 환경을 반영한 데이터셋으로 현실적인 연구 가능.
오디오 전용 및 시청각 피아노 트랜스크립션을 위한 벤치마킹 결과 제공.
손 랜드마크 기반의 새로운 지판 표기 방법 제시.
한계점:
데이터셋이 아마추어 피아니스트의 연주 데이터에 국한됨.
반자동 지판 표기 알고리즘 사용으로 인한 오류 가능성 존재.
데이터 수집 및 모드 간 정렬 과정의 어려움 언급. 구체적인 한계점은 추가 설명 필요.
👍