본 논문은 오디오 기반 대화형 얼굴 생성 분야에서 입술 동기화 개선에 초점을 맞추고 있습니다. 기존 방법들이 말하는 스타일이나 감정 표현 등 얼굴 애니메이션 제어에 한계를 보이는 문제점을 해결하고자, 입술-오디오 정렬 및 감정 제어라는 두 가지 핵심 요소를 개선하는 데 중점을 두었습니다. 이를 위해, 암묵적 키포인트 변형을 통해 입술-오디오 정렬 및 감정 제어를 가능하게 하는 새로운 프레임워크인 PC-Talk을 제안합니다. PC-Talk은 단어 수준의 말하는 스타일 편집 및 다양한 음성 크기 수준을 시뮬레이션하기 위한 입술 움직임 크기 조절을 통해 정확한 입술-오디오 정렬 제어를 가능하게 합니다. 또한, 순수한 감정 변형을 통해 생생한 감정적 얼굴 특징을 생성하고, 강도 미세 조정 및 다양한 얼굴 영역에 걸친 여러 감정의 결합을 가능하게 하는 감정 제어 모듈을 포함합니다. HDTF 및 MEAD 데이터셋에서 광범위한 실험을 통해 뛰어난 제어 기능과 최첨단 성능을 달성함을 보여줍니다.
