Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models

작성자

Haebom

카테고리

Empty

저자

Haibo Wang, Lifu Huang

💡 개요

본 논문은 2D 영상만을 활용하여 3D 공간 정보를 학습하는 GeoVR 프레임워크를 제안합니다. GeoVR은 기존 MLLM의 3D 인식 부족 문제를 해결하기 위해, 사전 학습된 3D 기초 모델로부터 기하학적 지식을 추출하여 MLLM의 잠재 공간을 재구성합니다. 이를 통해 영상 간 카메라 자세 추정, 깊이 맵 회귀, 메트릭 스케일 추정, 다중 스케일 3D 특징 추출 등 네 가지 목표를 달성하며 3D 인지 능력을 향상시킵니다.

🔑 시사점 및 한계

•

2D 영상만으로도 효과적인 3D 공간 지능을 MLLM에 부여할 수 있음을 입증했습니다.

•

기존의 피상적인 특징 혼합이 아닌, 3D 기초 모델로부터 기하학적 지식을 직접적으로 증류하는 새로운 접근 방식을 제시했습니다.

•

제안된 GeoVR 프레임워크는 다양한 공간 추론 벤치마크에서 최첨단 성능을 달성하며 MLLM의 공간 인지 능력 향상에 대한 새로운 패러다임을 제시합니다.

•

아직 실세계 환경에서의 다양한 조명 변화, 객체 복잡성, 동적 장면에서의 성능 검증은 추가적으로 필요할 수 있습니다.

PDF 보기

Made with Slashpage