본 논문은 얼굴 이미지로부터 음성을 생성하고, 자연어 텍스트 설명을 통해 음성의 특징(속도, 잡음 수준, 거리, 톤, 장소 등)을 제어 가능한 다중 모드 제어 가능 텍스트 음성 합성(TTS)을 탐구합니다. 특히, 얼굴 기반 TTS 시스템의 세 가지 과제, 즉 1) 오디오-비주얼 음성 말뭉치의 제한된 오디오 품질 극복, 2) 실제 인간 얼굴뿐 아니라 예술적 초상화로부터도 음성 생성, 3) 얼굴-음성 매핑의 일대다 가능성을 고려하면서 동시에 일관된 음성 생성을 보장하는 문제를 해결하는 데 중점을 둡니다. 고품질 오디오 전용 음성 말뭉치를 추가로 활용하는 훈련 방법, 스타일링을 사용한 입력 얼굴 이미지 증강, 샘플링 기반 디코딩과 생성된 음성 샘플을 사용한 프롬프팅을 제안합니다. 실험 결과는 제안된 모델의 얼굴 기반 음성 합성의 효과를 검증합니다.
