본 논문은 다중 모드 대규모 언어 모델(MLLM)의 시각적 근거(visual grounding) 성능 향상을 위해 Visual Position Prompt (VPP)를 제안합니다. MLLM이 이미지 내 좌표와 공간 정보를 정확하게 정렬하는 데 어려움을 겪는다는 점에 착안하여, 전역적 VPP와 국소적 VPP라는 두 가지 보완적인 메커니즘을 통해 공간적 단서를 제공합니다. 전역적 VPP는 학습 가능한 축과 같은 임베딩을 이미지에 중첩시켜 구조화된 공간적 단서를 제공하고, 국소적 VPP는 위치 인식 쿼리를 통합하여 객체의 위치를 추정합니다. 또한, 효율적인 모델 학습을 위해 0.6M 개의 고품질 시각적 근거 데이터를 포함하는 VPP-SFT 데이터셋을 새롭게 제시합니다. VPP-LLaVA는 MiniGPT-v2와 같은 다른 MLLM보다 훨씬 적은 훈련 샘플을 사용하면서도 표준 근거 벤치마크에서 최첨단 성능을 달성합니다.
