본 논문은 음성에 맞춰 얼굴 표정과 몸짓을 포함한 사실적인 비디오를 합성하는 동시 음성 제스처 비디오 생성(Co-speech gesture video generation)에 대한 연구를 제시합니다. 대규모 공개 데이터셋의 부족과 높은 계산 비용으로 인해 어려움을 겪는 이 과제에 대해, 본 연구는 2D 전신 골격을 효율적인 보조 조건으로 활용하는 경량 프레임워크를 제안합니다. 세분화된 오디오 세그먼트와 화자의 참조 이미지에서 추출된 골격을 조건으로 하는 확산 모델을 통해 골격-오디오 특징 융합으로 골격 동작을 예측하여 정확한 오디오 조정과 신체 형태 일관성을 보장합니다. 생성된 골격은 화자의 참조 이미지와 함께 기존의 인간 비디오 생성 모델에 입력되어 고품질 비디오를 합성합니다. 또한, 71가지 유형의 음성에 걸쳐 405시간 분량의 고해상도 비디오를 포함하고 2D 골격 및 다양한 화자 인구 통계학적 정보가 주석된 최초의 공개 데이터셋인 CSG-405를 공개합니다. 실험 결과, 제안된 방법은 시각적 품질과 동기화 측면에서 최첨단 방식을 능가하며 화자와 맥락에 걸쳐 일반화됨을 보여줍니다. 코드, 모델 및 CSG-405는 공개적으로 배포됩니다.
