SpatialScore: Towards Comprehensive Evaluation for Spatial Intelligence

Created by

Haebom

저자

Haoning Wu, Xiao Huang, Yaohui Chen, Ya Zhang, Yanfeng Wang, Weidi Xie

💡 개요

기존 다중모달 대규모 언어 모델(MLLM)의 공간 지능 평가는 파편화되고 범위가 제한적이었다. 본 논문은 MLLM의 공간 이해 능력을 총체적으로 평가하고, 데이터 기반 및 에이전트 기반 해결책을 제안한다. 이를 위해 가장 포괄적이고 다양한 벤치마크인 SpatialScore를 개발하고, 이를 통해 49개의 MLLM을 평가하여 현재 모델의 한계를 규명했다. 또한, SpatialCorpus와 SpatialAgent를 구축하여 모델의 공간 추론 능력을 향상시키는 방안을 제시한다.

🔑 시사점 및 한계

•

MLLM의 공간 지능 평가를 위한 포괄적이고 다목적 벤치마크(SpatialScore)와 대규모 학습 데이터셋(SpatialCorpus)을 제시하여 해당 분야의 발전을 위한 기반을 마련했다.

•

데이터 기반 미세 조정(fine-tuning)과 훈련 없는(training-free) 에이전트 기반 접근 방식(SpatialAgent) 모두 MLLM의 공간 추론 능력을 유의미하게 향상시킬 수 있음을 입증했다.

•

현재 MLLM은 인간 수준의 공간 지능에 도달하기까지 상당한 격차가 존재하며, 특히 복잡한 시각적 정보와 다양한 입력 양식에 대한 이해에서 어려움을 겪는다.

•

향후 연구는 더 다양한 공간적 시나리오와 데이터 유형을 포함하고, 인간과 유사한 직관적인 공간 추론 능력을 모델에 부여하는 방향으로 나아가야 할 것이다.

PDF 보기

Made with Slashpage