본 논문은 기존의 3DMM 기반 방법과 Stable Diffusion 기반 방법의 한계를 극복하는 새로운 talking face generation 모델인 DisentTalk을 제시합니다. 3DMM 기반 방법의 시간적 일관성 유지 및 세밀한 영역 제어 부족, Stable Diffusion 기반 방법의 공간적 조작 가능성과 시간적 불일관성 문제를 해결하기 위해, 데이터 기반 의미 분리(semantic disentanglement) 프레임워크를 도입하여 3DMM 표현 매개변수를 의미 있는 하위 공간으로 분해함으로써 세밀한 얼굴 제어를 가능하게 합니다. 또한, 3DMM 매개변수 공간에서 동작하는 계층적 잠재 확산 아키텍처를 개발하여 영역 인식 주의 메커니즘을 통합하여 공간 정밀도와 시간적 일관성을 모두 보장합니다. 중국어 고품질 학습 데이터 부족 문제를 해결하기 위해 중국어 고해상도 talking face 데이터셋인 CHDTF를 소개합니다. 실험 결과, 여러 지표(입술 동기화, 표정 품질, 시간적 일관성)에서 기존 방법보다 우수한 성능을 보임을 확인했습니다.
