MindJourney: Test-Time Scaling with World Models for Spatial Reasoning
Created by
Haebom
저자
Yuncong Yang, Jiageng Liu, Zheyuan Zhang, Siyuan Zhou, Reuben Tan, Jianwei Yang, Yilun Du, Chuang Gan
개요
본 논문은 시각-언어 모델(VLMs)의 3D 공간 추론 능력 향상을 위한 새로운 테스트 시간 스케일링 프레임워크인 MindJourney를 제안한다. MindJourney는 제어 가능한 비디오 확산 기반 월드 모델과 VLM을 결합하여 VLM이 2D 이미지만 인식하는 한계를 극복하고 3D 역학을 이해하도록 돕는다. VLM은 카메라 궤적을 계획하고, 월드 모델은 각 단계에 해당하는 시점을 합성하며, VLM은 상호 작용적 탐색 과정에서 얻은 다중 시점 증거를 바탕으로 추론한다. 미세 조정 없이도 대표적인 공간 추론 벤치마크인 SAT에서 평균 8% 이상의 성능 향상을 달성하여, 테스트 시간 스케일링을 위한 월드 모델과의 결합이 강력한 3D 추론을 위한 간단하고 플러그 앤 플레이 방식임을 보여준다. 또한 강화 학습을 통해 훈련된 테스트 시간 추론 VLM보다 성능이 향상되어 테스트 시간 스케일링을 위한 월드 모델 활용의 잠재력을 입증한다.
시사점, 한계점
•
시사점:
◦
테스트 시간 스케일링을 위한 월드 모델과 VLM의 결합이 3D 공간 추론 성능을 향상시킬 수 있음을 보여줌.
◦
미세 조정 없이도 성능 향상을 달성하여 효율적인 방법임을 제시.
◦
강화 학습 기반 VLM보다 우수한 성능을 보임으로써 월드 모델 기반 접근의 효용성을 증명.
◦
간단하고 플러그 앤 플레이 방식으로 다양한 VLM에 적용 가능성이 높음.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요.
◦
월드 모델의 계산 비용이 높을 수 있음.
◦
특정 벤치마크에 대한 성능 향상이 다른 벤치마크에서도 동일하게 나타날지에 대한 검증 필요.
