본 논문은 대규모 언어 모델(LLM)을 가상현실(VR) 환경에 통합하여 더욱 몰입적이고 상호작용적인 디지털 휴먼을 만드는 새로운 방법을 제시한다. LLM의 생성 능력과 얼굴 표정 및 제스처와 같은 다중 모드 출력을 활용하여 가상 에이전트는 인간과 같은 성격과 감정을 시뮬레이션하여 풍부하고 매력적인 사용자 경험을 제공할 수 있다. 본 논문은 제로샷, 퓨샷, 파인튜닝과 같은 접근 방식을 탐구하여 디지털 휴먼이 섬세한 성격 특성을 채택할 수 있도록 하는 방법을 종합적으로 검토한다. 또한 계산 요구 사항, 지연 문제, 다중 모드 상호 작용에 대한 표준화된 평가 프레임워크 부족 등 LLM 기반 성격 특성을 VR에 통합하는 과정에서의 어려움을 강조한다. 이러한 한계점들을 해결함으로써 교육, 치료, 게임 분야의 응용 프로그램 발전에 대한 기반을 마련하고 VR에서의 인간-컴퓨터 상호 작용을 재정의하기 위한 학제 간 협력을 촉진한다.
