SongComposer는 가사와 멜로디를 동시에 생성하는 통합적인 노래 작곡 모델입니다. 기존의 가사 생성, 가사-멜로디 변환, 멜로디-가사 변환 등의 개별적인 모델들과 달리, 지시사항에 따라 가사와 멜로디를 동시에 생성하는 기능을 갖추고 있습니다. 이는 단어 수준의 가사와 멜로디 정렬을 위한 유연한 튜플 형식, 음악적 지식 기반의 스칼라 초기화를 사용한 확장된 토큰 분류기 어휘, 그리고 모티프 수준에서 구절 수준으로 진행되는 다단계 파이프라인을 통해 구현되었습니다. 실험 결과, SongComposer는 GPT-4를 포함한 기존의 고급 LLMs보다 가사-멜로디 생성, 멜로디-가사 생성, 노래 연속 생성, 텍스트-노래 생성 작업에서 우수한 성능을 보였습니다. 또한, 중국어와 영어로 된 가사와 멜로디 쌍을 포함하는 대규모 훈련 데이터셋 SongCompose를 공개할 예정입니다.
