Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Towards Visuospatial Cognition via Hierarchical Fusion of Visual Experts

Created by
  • Haebom

저자

Qi Feng

개요

본 논문은 시각-언어적 추론, 특히 공간 배치, 관계, 역동성에 대한 추론 능력인 시각 공간 인지 능력 향상을 위해 새로운 다중 모달 대규모 언어 모델(MLLM)인 ViCA2를 제시합니다. ViCA2는 의미를 위한 SigLIP과 공간 구조를 위한 Hiera를 통합한 이중 시각 인코더 아키텍처와 효율성을 위한 토큰 비율 제어 메커니즘을 특징으로 합니다. 또한, 32만 개 이상의 공간 기반 질의응답 쌍으로 구성된 대규모 데이터셋 ViCA-322K를 개발하여 목표 지시 조정을 수행했습니다. ViCA2-7B 모델은 VSI-Bench 벤치마크에서 56.8점의 최첨단 평균 점수를 달성하여, LLaVA-NeXT-Video-72B 및 Gemini-1.5 Pro와 같은 대규모 오픈소스 및 독점 모델을 능가했습니다. ViCA2, 코드베이스 및 ViCA-322K 데이터셋을 공개하여 추가 연구를 지원합니다.

시사점, 한계점

시사점:
소규모 모델(7B)임에도 불구하고, 기존 대규모 모델들을 능가하는 시각 공간 추론 성능을 달성했습니다.
새로운 데이터셋 ViCA-322K와 이중 시각 인코더 아키텍처의 효과를 입증했습니다.
개방형으로 공개된 모델, 코드, 데이터셋을 통해 후속 연구를 촉진할 수 있습니다.
한계점:
VSI-Bench 벤치마크 외 다른 벤치마크에서의 성능은 평가되지 않았습니다.
모델의 일반화 능력에 대한 추가적인 평가가 필요합니다.
ViCA-322K 데이터셋의 편향성 및 범용성에 대한 분석이 부족합니다.
👍