본 논문은 다중 모드 대규모 언어 모델(MLLM)의 시각적 기반 설정(visual grounding) 성능 향상을 위해 Visual Position Prompt (VPP)를 도입한 VPP-LLaVA 모델을 제안합니다. MLLM이 이미지 내 좌표와 공간 정보를 정확하게 정렬하는 데 어려움을 겪는다는 점을 지적하며, 이는 명시적인 공간 참조 부족과 세밀한 공간 정보보다 전역적 맥락을 우선시하는 특징 추출 과정 때문이라고 분석합니다. VPP-LLaVA는 전역 VPP와 국소 VPP라는 두 가지 보완적인 메커니즘을 통합하여, 전역 VPP는 학습 가능한 축과 같은 임베딩을 이미지에 겹쳐 구조화된 공간적 단서를 제공하고, 국소 VPP는 위치 인식 쿼리를 통합하여 객체의 가능한 위치를 제안합니다. 또한, 0.6M 개의 고품질 시각적 기반 설정 데이터를 효율적인 모델 학습을 위해 압축된 형태로 통합한 VPP-SFT 데이터셋을 소개합니다. VPP-SFT 데이터셋으로 학습된 VPP-LLaVA는 기존 MLLM들보다 적은 학습 데이터를 사용하면서도 표준 기반 설정 벤치마크에서 최첨단 성능을 달성합니다.
