본 논문은 다중 모달 대규모 언어 모델(MLLM)의 시각적 기반(visual grounding) 작업에서의 정확한 좌표 정렬 어려움을 해결하기 위해 Visual Position Prompt (VPP)를 활용한 VPP-LLaVA 모델을 제시합니다. MLLM이 공간 정보와의 정확한 좌표 정렬에 어려움을 겪는 이유는 명시적인 공간 참조 부족과 미세한 공간적 세부 정보보다 전역적 맥락을 우선시하는 특징 추출 과정 때문입니다. VPP-LLaVA는 전역 VPP와 국소 VPP라는 두 가지 메커니즘을 통합하여 이 문제를 해결합니다. 전역 VPP는 학습 가능한 축과 같은 텐서를 입력 이미지에 겹쳐 구조화된 공간적 단서를 제공하고, 국소 VPP는 위치 인식 쿼리를 통해 미세한 위치 확인을 지원합니다. 또한, 효율적인 훈련을 위해 0.6M 개의 고품질 시각적 기반 샘플로 구성된 VPP-SFT 데이터셋을 새롭게 제시합니다. VPP-LLaVA는 표준 시각적 기반 벤치마크에서 최첨단 성능을 달성하고, 새로운 데이터셋에 대한 강력한 제로샷 일반화 성능을 보여줍니다.
