CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis With Structured Melody Control and Guidance

Created by

Haebom

저자

Junchuan Zhao, Wei Zeng, Tianle Lyu, Ye Wang

💡 개요

이 논문은 멜로디 제어가 어려운 기존 이산 코덱 기반 제로샷 노래 합성 방식의 한계를 극복하기 위해 CoMelSinger라는 프레임워크를 제안합니다. CoMelSinger는 가사 및 음높이 토큰을 사용하여 구조화된 멜로디 제어를 가능하게 하며, 음높이 정보가 음색 프롬프트에 섞이는 문제를 해결하기 위해 코스-투-파인 대조 학습 전략을 도입했습니다. 실험 결과, CoMelSinger는 경쟁 모델 대비 음높이 정확도, 음색 일관성, 제로샷 전이 능력에서 상당한 개선을 보였습니다.

🔑 시사점 및 한계

•

이산 코덱 기반 제로샷 노래 합성에서 구조화된 멜로디 제어를 효과적으로 구현했습니다.

•

음높이 정보의 프롬프트 누출 문제를 해결하여 제어 가능성을 높였습니다.

•

제로샷 전이 능력과 음성 품질 측면에서 기존 방법론 대비 우수한 성능을 입증했습니다.

•

향후 연구에서는 더 복잡하고 표현력 있는 보컬 표현을 생성하기 위한 추가적인 기법 개발이 필요할 수 있습니다.

PDF 보기

Made with Slashpage