본 논문은 기존의 Text-to-Speech (TTS) 모델이 음소와 mel-spectrogram 간의 매핑에 집중하면서 음소 인코딩 단계에서 실제 mel-spectrogram의 보조 정보 부족으로 인해 진정한 의미 이해가 부족하고, 고품질 음성 합성과 빠른 추론 속도 간의 균형을 맞추는 데 어려움을 겪는다는 문제점을 지적합니다. 이를 해결하기 위해, Clip 아키텍처 기반의 새로운 TTS 모델인 Clip-TTS를 제안합니다. Clip-TTS는 Clip 프레임워크를 사용하여 텍스트 인코딩 단계에서 텍스트 내용과 실제 mel-spectrogram을 연결함으로써 텍스트 인코더가 전역적 맥락의 진정한 의미를 직접 학습하여 합성 음성의 질을 향상시킵니다. Transformer 기반의 아키텍처를 채택하여 빠른 추론 속도를 달성하며, LJSpeech와 Baker 데이터셋에서 최첨단 MOS 점수를 달성하고 다양한 감정 데이터셋에서도 우수한 성능을 보입니다.
