본 논문은 복잡한 3D 장면에서의 시나리오 인식 인간 모션 합성을 위한 통합 모션 언어 모델 UniHM을 제안합니다. 기존의 텍스트 기반 모션 모델이 장면 정보를 충분히 활용하지 못하는 한계를 극복하기 위해, UniHM은 확산 기반 생성을 활용하여 텍스트 및 장면 정보를 바탕으로 사실적인 인간 모션을 생성합니다. 이는 연속적인 6DoF 모션과 이산적인 지역 모션 토큰을 결합한 혼합 모션 표현, 기존 VQ-VAE보다 성능이 향상된 LFQ-VAE, 그리고 HumanML3D 주석으로 확장된 Lingo 데이터셋을 사용함으로써 가능해졌습니다. UniHM은 Text-to-Motion과 Text-to-Human-Object Interaction (HOI) 모두를 지원하는 최초의 프레임워크입니다.
