GeoWorld-VLM: Geometry from World Models for Vision-Language Models

작성자

Haebom

카테고리

Empty

저자

Renjie Gu, Kaichen Zhou, Yan Luo, Mengyu Wang

💡 개요

기존 비전-언어 모델(VLM)은 의미 인식 능력은 뛰어나지만, '왼쪽', '뒤'와 같은 기본적인 공간 관계 이해에 취약하다는 문제점을 지적한다. 본 논문은 이를 해결하기 위해 고정된 카메라 조건부 비디오 월드 모델로부터 기하학적 구조 정보를 VLM으로 이전하는 GeoWorld-VLM 프레임워크를 제안한다. 제안된 방법은 이미지 인코더와 멀티모달 프로젝터를 미세 조정하며, 월드 모델의 중간 표현과 VLM의 특징을 정렬하여 공간 추론 능력을 향상시킨다.

🔑 시사점 및 한계

•

VLM의 공간 관계 이해 능력 부족은 시각 정보 처리 과정에서 3D 공간 단서가 손실되기 때문임을 규명하고, 월드 모델을 통한 기하학적 구조 정보 주입의 효과성을 입증했다.

•

제안된 GeoWorld-VLM은 기존 VLM의 언어 능력을 유지하면서도 시각 인코더를 강화하여 공간 추론 성능을 일관되게 향상시킬 수 있음을 두 가지 VLM 아키텍처에 대한 실험으로 보여준다.

•

약 4%의 성능 향상이 관찰되었으며, 이는 모델 구조 및 데이터셋에 걸쳐 일반화될 수 있음을 시사한다.

•

향후 연구에서는 다양한 유형의 공간 관계에 대한 더 심층적인 평가와 함께, 복잡한 장면에서의 공간 정보 추론 능력 향상에 대한 탐구가 필요하다.

PDF 보기

Made with Slashpage