Imagine in Space: Exploring the Frontier of Spatial Intelligence and Reasoning Efficiency in Vision Language Models
Created by
Haebom
Category
Empty
저자
Xiaoxing Lian, Aidong Yang, Jun Zhu, Peng Wang, Yue Zhang
개요
대규모 언어 모델(LLM) 및 비전 언어 모델(VLM)은 논리적 추론, 문제 해결, 의사 결정 능력을 보여주었지만, 정신 회전, 내비게이션, 공간 관계 이해와 같은 공간 추론은 여전히 중요한 과제이다. 이 논문은 공간 상태의 내부 시뮬레이션인 '상상력'이 공간 세계 모델 내에서 지배적인 추론 메커니즘이라고 가정한다. 이 가설을 검증하고 VLM 공간 추론 메커니즘을 체계적으로 조사하기 위해, 공간 추론 정확도와 추론 효율성을 함께 측정하는 완전 합성 벤치마크인 SpatiaLite를 도입했다.
시사점, 한계점
•
시사점:
◦
현재 VLM은 지각적 공간 관계 및 3D 기하학적 변환(예: 정신 회전 또는 투영 예측)을 요구하는 시각 중심 작업에 취약하며, 언어 표현에 주로 의존한다.
◦
변환 복잡성이 증가함에 따라 토큰 사용량이 급증하여 공간 추론 메커니즘의 비효율성이 나타난다.
◦
Imagery Driven Framework (IDF)를 통해 VLM의 공간 추론에 필수적인 내부 세계 모델을 암묵적으로 구축할 수 있다.
•
한계점:
◦
SpatiaLite 벤치마크는 VLM의 공간 추론 능력에 대한 한정된 측면만을 평가할 수 있다.
