MF-Speech는 표현력이 풍부하고 제어 가능한 인간 음성을 생성하는 것을 목표로 하는 새로운 프레임워크입니다. 이 프레임워크는 음성 요인들의 깊은 얽힘과 기존 제어 메커니즘의 거친 세분성을 극복하기 위해 제안되었습니다. MF-SpeechEncoder는 다중 목표 최적화 전략을 사용하여 음성 신호를 내용, 음색, 감정의 순수한 표현으로 분해합니다. MF-SpeechGenerator는 동적 융합과 HSAN (Hierarchical Style Adaptive Normalization)을 통해 이러한 요인들을 정밀하고 구성 가능하며 세분화된 방식으로 제어합니다. 실험 결과, MF-Speech는 기존 최고 성능 방법들을 능가하여, 낮은 단어 오류율(WER=4.67%), 우수한 스타일 제어(SECS=0.5685, Corr=0.68), 그리고 가장 높은 주관적 평가 점수(nMOS=3.96, sMOS_emotion=3.86, sMOS_style=3.78)를 달성했습니다.
