본 논문은 시각-언어적 공간 추론 능력 향상을 위해 새로운 다중 모달 대규모 언어 모델(MLLM)인 ViCA2를 제안합니다. ViCA2는 의미 정보 추출을 위한 SigLIP과 공간 구조 파악을 위한 Hiera를 통합한 이중 시각 인코더 아키텍처와 효율적인 토큰 비율 제어 메커니즘을 특징으로 합니다. 또한, 32만 개 이상의 공간 기반 질의응답 쌍으로 구성된 대규모 데이터셋 ViCA-322K를 개발하여 ViCA2의 목표 지시 학습에 활용했습니다. VSI-Bench 벤치마크에서 ViCA2-7B 모델은 56.8점의 최첨단 성능을 달성하여, 더 큰 오픈소스 모델(LLaVA-NeXT-Video-72B, 40.9점) 및 주요 독점 모델(Gemini-1.5 Pro, 45.4점)을 능가했습니다. ViCA2, 코드베이스, ViCA-322K 데이터셋을 공개하여 후속 연구를 지원합니다.
