본 논문은 침묵 영상으로부터 고품질 음성을 생성하는, 비디오 음성 합성(video-to-speech synthesis)에 대한 연구이다. 영상과 음성 간의 상당한 모달리티 차이를 해결하기 위해, 계층적 표현 학습을 통해 침묵 영상을 음향 특징 공간으로 점진적으로 변환하는 새로운 시스템을 제안한다. 구체적으로, 콘텐츠, 음색, 운율 모델링의 세 단계를 거치며, 각 단계에서 입술 움직임, 얼굴 특징, 얼굴 표정과 같은 시각적 요소를 해당 음향적 요소와 정렬한다. 또한, 흐름 일치 모델을 사용하여 단순 사전 분포에서 목표 음성 분포로의 직접적인 경로를 추정하여 사실적이고 일관된 음성을 생성한다. 실험 결과, 제안된 방법은 기존 방법보다 훨씬 우수한 성능을 보이며, 실제 발화와 비교할 만한 수준의 뛰어난 생성 품질을 달성한다.
