본 논문은 실시간 음성 기반 3D 얼굴 애니메이션 생성을 위한 새로운 방법인 DiffusionTalker를 제안합니다. 기존 확산 모델 기반 방법들의 다양성 부족 및 개인화된 화법 표현의 어려움, 효율성 및 모델 크기 문제를 해결하기 위해, 개인화 가이드 증류(personalizer-guided distillation) 기법을 도입했습니다. 특히, 음성에서 정체성과 감정 임베딩을 학습하는 대조적 개인화자(contrastive personalizer)와 증류 과정에서 임베딩의 영향을 강화하는 개인화자 향상기(personalizer enhancer)를 제안하여 개인화된 화법을 반영하는 애니메이션 생성을 개선했습니다. 또한, 반복적 증류(iterative distillation)를 통해 추론 속도를 8배 이상 향상시키고, 모델 크기를 86.4% 감소시키면서 성능 저하를 최소화했습니다. 실험 결과, 제안된 방법이 최첨단 기법들을 능가하는 성능을 보임을 확인했습니다. 소스 코드는 깃허브에 공개될 예정입니다.
