본 논문은 다양한 음악 요소를 분석하고 해석하는 음악 이해 작업에서 음악 대규모 언어 모델(LLM)의 성능 향상을 다룹니다. 기존 연구는 음악과 텍스트 입력 통합에 집중했으나, 본 논문은 이미지, 비디오, 텍스트 음악 특징과 같은 추가 모달리티 통합의 잠재력을 탐구합니다. 이를 위해, 다중 방식 정렬 음악, 텍스트, 이미지 및 비디오 데이터를 사용한 다중 방식 지시 조정을 통해 미세 조정된 다중 모달 음악 이해 LLM인 DeepResonance를 제안합니다. Music4way-MI2T, Music4way-MV2T, Music4way-Any2T 세 가지 4방식 훈련 및 평가 데이터셋을 구축하여 시각적 및 텍스트 음악 특징 콘텐츠 통합을 가능하게 합니다. 또한, 다중 샘플링 ImageBind 임베딩과 사전 LLM 융합 Transformer를 도입하여 텍스트 LLM 입력 전 모달리티 융합을 향상시킵니다. DeepResonance는 6가지 음악 이해 작업에서 최첨단 성능을 달성하며, 보조 모달리티의 이점과 DeepResonance의 구조적 우수성을 강조합니다. 모델과 새롭게 구축된 데이터셋을 오픈소스로 공개할 계획입니다.
