Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SmoothSinger: A Conditional Diffusion Model for Singing Voice Synthesis with Multi-Resolution Architecture

Created by
  • Haebom

저자

Kehan Sui, Jinxu Xiang, Fang Jin

개요

본 논문은 고품질의 자연스러운 노래 음성을 합성하기 위한 새로운 조건부 확산 모델인 SmoothSinger를 제안합니다. 기존의 두 단계 파이프라인(저품질 음성 합성 후 보코더를 이용한 후처리) 방식과 달리, SmoothSinger는 저품질 음성을 직접 개선하는 통합 프레임워크를 채택하여 보코더로 인한 왜곡을 줄입니다. 기준 음성을 활용하는 이중 분기 구조를 통해 잡음 제거 과정을 안내하고, 저주파 업샘플링 경로를 추가하여 음높이 윤곽과 장기간 스펙트럼 의존성을 더 잘 포착합니다. 또한, 훈련 중 시간 불일치 문제를 해결하기 위해 기준 음성 대신 저품질의 정답 음성을 사용합니다. Opencpop 데이터셋을 이용한 실험 결과, SmoothSinger는 객관적 및 주관적 평가 모두에서 최첨단 성능을 달성했습니다.

시사점, 한계점

시사점:
기존 SVS 모델의 한계점인 보코더 사용으로 인한 왜곡 문제를 해결하는 새로운 통합 프레임워크 제시.
기준 음성을 활용한 이중 분기 구조 및 저주파 업샘플링 경로를 통해 더욱 자연스럽고 표현력 있는 음성 합성 가능.
Opencpop 데이터셋에서 SOTA 성능 달성.
시간 불일치 문제 해결을 위한 새로운 훈련 방식 제시.
한계점:
Opencpop 데이터셋에 대한 의존성. 다른 데이터셋으로의 일반화 성능 검증 필요.
모델의 계산 비용 및 복잡성에 대한 논의 부족.
다양한 음악 장르 및 스타일의 노래 음성 합성에 대한 성능 평가 부족.
👍