SARGes: Semantically Aligned Reliable Gesture Generation via Intent Chain
Created by
Haebom
Category
Empty
저자
Nan Gao, Yihua Bao, Dongdong Weng, Jiayi Zhao, Jia Li, Yan Zhou, Pengfei Wan, Di Zhang
개요
본 논문은 대규모 언어 모델(LLM)을 활용하여 의미있는 동시발화 제스처를 생성하는 새로운 프레임워크인 SARGes를 제안합니다. SARGes는 포괄적인 동시발화 제스처 에토그램을 구축하고, LLM 기반 의도 체인 추론 메커니즘을 개발하여 제스처 의미를 구조화된 추론 단계로 체계적으로 파싱 및 분해합니다. 이를 통해 문맥을 고려한 제스처 레이블을 생성하고, 신뢰할 수 있고 의미적으로 일관된 동시발화 제스처 생성을 안내합니다. 의도 체인으로 주석이 달린 텍스트-제스처 레이블 데이터셋을 구축하여 경량 제스처 레이블 생성 모델을 훈련하여, 효율적인 단일 패스 추론(0.4초)으로 높은 의미적 정렬 제스처 레이블링(50.2% 정확도)을 달성합니다. 제안된 방법은 의미있는 제스처 합성을 위한 해석 가능한 의도 추론 경로를 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 의미적으로 풍부하고 일관성 있는 동시발화 제스처 생성이 가능함을 보여줌.
◦
해석 가능한 의도 추론 경로를 제공하여 제스처 생성 과정의 투명성을 확보.
◦
효율적인 단일 패스 추론으로 실시간 응용 가능성 제시.
•
한계점:
◦
제스처 에토그램의 포괄성 및 정확성에 대한 검증 필요.
◦
LLM 기반 의도 체인 추론 메커니즘의 일반화 성능에 대한 추가 연구 필요.
◦
50.2%의 정확도는 아직 개선의 여지가 있음. 다양한 데이터셋과 상황에 대한 추가 실험 필요.
