본 논문은 가상 현실(VR) 및 증강 현실(AR) 시스템에서 자연스럽고 효율적인 상호 작용을 위한 새로운 접근 방식을 제시한다. 특히, 시각 기반 제스처 인식의 단점을 보완하기 위해 음향 감지를 활용하여 채널 임펄스 응답(CIR)을 통해 제스처를 인식한다. 기존 CIR 기반 제스처 인식 방법의 한계점인 대규모 데이터셋 의존성을 극복하기 위해, 대규모 언어 모델(LLM)을 활용한 제스처 인식 프레임워크를 제안한다. 차분 CIR 데이터를 수집하고, 10명의 참가자가 15가지 제스처(숫자, 문자, 도형)를 수행하는 실제 데이터셋을 구축하여 LLM 기반 분류기를 실험했다. 그 결과, 제안하는 LLM 기반 프레임워크가 도메인별 재훈련 없이도 기존 머신러닝 기반 방법과 유사한 정확도를 달성함을 확인했다.
