ViCA2는 시각-언어적 공간 추론 능력 향상을 위해 고안된 새로운 다중 모달 대규모 언어 모델입니다. 의미 정보 추출을 위한 SigLIP과 공간 구조 분석을 위한 Hiera를 통합한 이중 비전 인코더 아키텍처와 효율적인 토큰 비율 제어 메커니즘을 특징으로 합니다. 또한, 32만 개 이상의 공간 기반 질의응답 쌍으로 구성된 대규모 데이터셋 ViCA-322K를 개발하여 목표 지시 학습을 수행했습니다. VSI-Bench 벤치마크에서 ViCA2-7B 모델은 56.8점의 최첨단 평균 점수를 달성하여, LLaVA-NeXT-Video-72B 및 Gemini-1.5 Pro와 같은 대규모 모델들을 상당히 능가하는 성능을 보였습니다. ViCA2, 코드베이스, ViCA-322K 데이터셋을 공개하여 추가 연구를 지원합니다.
