Moonbeam은 81.6K 시간 분량의 음악과 180억 개의 토큰으로 구성된 방대한 MIDI 데이터셋으로 사전 학습된, 변환기 기반의 음악 기초 모델입니다. 새로운 도메인 지식 기반 토큰화 방법과 추가 학습 매개변수 없이 상대적인 음악 정보를 포착하는 다차원 상대적 어텐션(MRA)을 통해 절대적 및 상대적 음악 속성을 모두 포착함으로써 음악 도메인의 귀납적 편향을 통합합니다. 사전 학습된 Moonbeam을 활용하여, 음악 이해 및 조건부 음악 생성(음악 채우기 포함)이라는 두 가지 하위 작업을 목표로 하는 완전한 예측 능력을 갖춘 2가지 미세 조정 아키텍처를 제안합니다. 4개의 데이터셋에서 3가지 하위 음악 분류 작업에 대한 정확도와 F1 점수 측면에서 대부분의 경우 다른 대규모 사전 학습된 음악 모델보다 성능이 우수합니다. 또한, 미세 조정된 조건부 음악 생성 모델은 REMI 유사 토큰화기를 사용하는 강력한 변환기 기준 모델보다 성능이 우수합니다. 코드, 사전 학습된 모델 및 생성된 샘플을 Github에서 공개합니다.
