본 논문은 3차원 공간 내에서 언어적 설명과 포인팅 제스처를 결합하여 목표 객체를 식별하는 3차원 구현 참조 이해(3D-ERU) 문제를 다룬다. 기존 연구는 언어 기반 3D 지정에 초점을 맞추었으나, 제스처를 포함하는 3D-ERU 연구는 부족했다. 이를 해결하기 위해, 본 논문에서는 데이터 증강 프레임워크 Imputer를 제시하여 기존 언어 설명만 포함된 3D 장면 데이터셋에 인간의 포인팅 제스처를 추가, 새로운 벤치마크 데이터셋 ImputeRefer를 구축했다. 또한, 새로운 3D-ERU 모델 Ges3ViG를 제안하여 기존 3D-ERU 모델 대비 약 30%, 순수 언어 기반 3D 지정 모델 대비 약 9%의 정확도 향상을 달성했다. 코드와 데이터셋은 공개되어 있다.
