Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SpatialBench: Benchmarking Multimodal Large Language Models for Spatial Cognition

Created by
  • Haebom
Category
Empty

저자

Peiran Xu, Sudong Wang, Yao Zhu, Jianing Li, Yunjian Zhang

개요

본 논문은 실제 환경과의 상호작용에 필수적인 공간 인식을 다루며, 기존 벤치마크의 단순성을 극복하기 위해 계층적 공간 인지 프레임워크를 제안합니다. 이 프레임워크는 공간 지능을 기본적인 관찰부터 고차원 계획까지 5단계로 세분화하고, 이를 기반으로 15개의 세분화된 작업을 포함하는 대규모 벤치마크 SpatialBench를 구축합니다. 또한, 모델의 전반적인 공간 추론 능력을 평가하기 위한 고수준 능력 지향적 지표를 도입합니다. 대규모 멀티모달 대규모 언어 모델(MLLM)에 대한 실험을 통해 모델들이 지각적 기반에서는 강점을 보이지만, 기호 추론, 인과 추론, 계획 능력에는 한계가 있음을 확인했습니다. 마지막으로, 인간 테스트를 통해 인간은 선택적이고 목표 지향적인 추상화를 수행하는 반면, MLLM은 일관된 공간적 의도 없이 표면적 세부 사항에 과도하게 집중하는 경향을 보임을 밝혔습니다.

시사점, 한계점

시사점:
MLLM의 공간 인지 능력을 평가하기 위한 체계적인 프레임워크 구축.
계층적 공간 인지 프레임워크를 통해 MLLM의 공간 지능을 세분화하여 평가.
SpatialBench 벤치마크와 고수준 능력 지향적 지표를 통해 다양한 MLLM의 성능을 통합적으로 평가.
MLLM의 강점과 약점을 파악하여, 공간 지능 향상을 위한 방향성을 제시.
한계점:
MLLM이 기호 추론, 인과 추론, 계획 능력에서 제한적인 성능을 보임.
MLLM이 인간과 달리, 일관된 공간적 의도 없이 표면적 세부 사항에 과도하게 집중하는 경향.
👍