MF-Speech는 표현력이 풍부하고 제어 가능한 인간 음성을 생성하는 것을 목표로 하는 새로운 프레임워크입니다. 음성 요인의 깊은 얽힘과 기존 제어 메커니즘의 거친 세분성이라는 두 가지 주요 과제를 해결하기 위해 MF-SpeechEncoder와 MF-SpeechGenerator로 구성됩니다. MF-SpeechEncoder는 다중 목표 최적화 전략을 사용하여 음성 신호를 내용, 음색, 감정의 순수한 표현으로 분해합니다. MF-SpeechGenerator는 동적 융합과 HSAN (Hierarchical Style Adaptive Normalization)을 통해 이러한 요소를 정밀하게 제어합니다. 실험 결과 MF-Speech는 다중 요인 구성 음성 생성 작업에서 뛰어난 성능을 보였으며, 낮은 단어 오류율(WER=4.67%), 우수한 스타일 제어(SECS=0.5685, Corr=0.68), 그리고 가장 높은 주관적 평가 점수를 달성했습니다(nMOS=3.96, sMOS_emotion=3.86, sMOS_style=3.78).
