LadderSym: A Multimodal Interleaved Transformer for Music Practice Error Detection
Created by
Haebom
저자
Benjamin Shiue-Hal Chou, Purvish Jajal, Nick John Eliopoulos, James C. Davis, George K. Thiruvathukal, Kristen Yeon-Ji Yun, Yung-Hsiang Lu
개요
LadderSym은 음악 연습 오류를 정확하게 감지하는 새로운 Transformer 기반 방법론입니다. 두 가지 주요 관찰에 기반하여 설계되었습니다. (1) 후기 융합은 스트림 간 정렬 및 상호 모달리티 비교 능력을 제한하고, (2) 악보 오디오 의존성은 주파수 스펙트럼의 모호성을 유발하여 동시 음표가 있는 음악의 성능을 저하시킵니다. 이를 해결하기 위해 LadderSym은 스트림 간 정렬 모듈이 있는 이중 스트림 인코더와 오디오 및 기호적 악보를 활용하는 다중 모달 전략을 도입했습니다. MAESTRO-E 및 CocoChorales-E 데이터 세트에서 F1 점수를 측정한 결과, 이전 최고 성능 모델보다 향상된 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
오류 감지를 위한 이중 스트림 인코더와 다중 모달 전략의 효과 입증.
◦
MAESTRO-E 및 CocoChorales-E 데이터 세트에서 이전 최고 성능 모델보다 뛰어난 성능 달성.
◦
강화 학습, 인간 기술 평가 및 모델 평가를 위한 시퀀스 평가 작업에 대한 일반적인 통찰력 제공.