본 논문은 음성 기반 3D 얼굴 애니메이션에서 자연스러운 얼굴 움직임을 생성하기 위해 음성과 동기화된 사실적인 얼굴 움직임을 생성하는 것을 목표로 합니다. 기존 방법들은 각 프레임을 실제 데이터와 정렬하여 재구성 손실을 최소화하는 데 중점을 두었지만, 이러한 프레임 단위 접근 방식은 조음 공동작용으로 인해 얼굴 움직임의 연속성을 잡지 못하여 흔들리고 부자연스러운 결과물을 초래하는 경우가 많았습니다. 이를 해결하기 위해, 본 논문은 음성적 맥락이 음소 전환에 미치는 영향을 명시적으로 모델링하는 새로운 음성적 맥락 인식 손실 함수를 제안합니다. 음소 조음 공동작용 가중치를 통합하여 시간에 따른 역동적인 변화에 따라 얼굴 움직임에 적응적인 중요도를 할당함으로써 보다 부드럽고 지각적으로 일관된 애니메이션을 보장합니다. 광범위한 실험을 통해 기존 재구성 손실을 제안된 손실 함수로 대체하면 정량적 지표와 시각적 품질 모두 향상됨을 보여줍니다. 이는 자연스러운 음성 기반 3D 얼굴 애니메이션을 합성하는 데 있어 음성적 맥락에 의존적인 음소를 명시적으로 모델링하는 것이 중요함을 강조합니다.
