Zeqian Ju, Dongchao Yang, Jianwei Yu, Kai Shen, Yichong Leng, Zhengtao Wang, Xu Tan, Xinyu Zhou, Tao Qin, Xiangyang Li
개요
MoonCast는 텍스트만으로부터 자연스러운 팟캐스트 스타일의 음성을 생성하는 제로샷 팟캐스트 생성 시스템이다. 기존 텍스트 음성 변환(TTS) 시스템이 짧은 발화에 집중한 것과 달리, 긴 대화, 다중 화자, 즉흥적인 대화 등 실제 팟캐스트의 특징을 반영하여 고품질의 긴 오디오 생성을 목표로 한다. 긴 오디오 생성을 위해 대규모 장문 맥락 음성 데이터를 활용한 장문 맥락 언어 모델 기반 오디오 모델링 방식을 채택하고, 즉흥성을 높이기 위해 즉흥적인 세부 사항을 포함한 스크립트를 생성하는 팟캐스트 생성 모듈을 사용한다. 다양한 형식의 텍스트 소스(TXT, PDF, 웹 URL)와 미리 보지 못한 화자의 목소리를 사용하여 자연스러운 팟캐스트를 생성할 수 있다는 것을 실험을 통해 보여준다.
시사점, 한계점
•
시사점:
◦
기존 TTS 시스템의 한계를 극복하고, 긴 길이, 다중 화자, 즉흥성을 갖는 팟캐스트와 같은 실제 시나리오에 적용 가능한 고품질 음성 생성 기술 제시.
◦
장문 맥락 언어 모델과 팟캐스트 생성 모듈을 결합하여 긴 오디오와 즉흥성을 동시에 향상시킨 효과적인 접근 방식 제시.
◦
다양한 형식의 텍스트 소스와 미리 보지 못한 화자의 목소리 지원으로 활용성 증대.
◦
실험 결과를 통해 MoonCast가 기존 방식보다 즉흥성과 일관성 측면에서 우수한 성능을 보임을 입증.
