ViCA2는 시각-언어적 공간 추론 능력을 향상시키기 위해 설계된 새로운 다중 모달 대규모 언어 모델(MLLM)입니다. 기존 모델들의 공간 이해력 부족 문제를 해결하기 위해 의미를 처리하는 SigLIP과 공간 구조를 처리하는 Hiera를 통합한 이중 시각 인코더 아키텍처와 효율성을 위한 토큰 비율 제어 메커니즘을 도입했습니다. 또한, 32만 개 이상의 공간 기반 질의응답 쌍으로 구성된 대규모 데이터셋 ViCA-322K를 개발하여 목표 지시 미세 조정을 수행했습니다. VSI-Bench 벤치마크에서 ViCA2-7B 모델은 56.8점의 최첨단 평균 점수를 달성하여, 더 큰 오픈소스 모델(예: LLaVA-NeXT-Video-72B, 40.9점) 및 주요 독점 모델(Gemini-1.5 Pro, 45.4점)을 크게 능가했습니다. ViCA2, 코드베이스, 그리고 ViCA-322K 데이터셋을 공개하여 추가 연구를 지원합니다.
