기존의 오디오 기반 영상 더빙 방법들은 큰 성공을 거두었지만, 공간 및 시간 영역 간의 의미적 모호성으로 인해 역동적인 얼굴의 합성 안정성이 크게 저하되는 문제점이 있습니다. 본 논문에서는 공간 및 시간 영역의 의미적 특징을 정렬하는 것이 얼굴 움직임의 안정성을 높이는 유망한 접근 방식이라고 주장합니다. 이를 위해, 이중 경로 정렬 메커니즘과 미분 가능한 의미적 표현을 도입한 공간-시간 의미 정렬(STSA) 방법을 제안합니다. 이중 경로 정렬 메커니즘은 일관된 정보 학습(CIL) 모듈을 활용하여 여러 스케일에서 상호 정보를 극대화함으로써 공간 및 시간 영역 간의 다양체 차이를 줄입니다. 미분 가능한 의미적 표현은 확률적 히트맵을 모호성에 강인한 안내로 활용하여 미세한 의미적 떨림으로 인한 합성 얼굴의 비정상적인 역동성을 방지합니다. 광범위한 실험 결과는 제안된 STSA의 우수성, 특히 이미지 품질 및 합성 안정성 측면에서의 우수성을 보여줍니다. 사전 훈련된 가중치와 추론 코드는 https://github.com/SCAILab-USTC/STSA 에서 이용 가능합니다.
