Seeing is Not Reasoning: MVPBench for Graph-based Evaluation of Multi-path Visual Physical CoT
Created by
Haebom
저자
Zhuobai Dong, Junchao Yi, Ziyuan Zheng, Haochen Han, Xiangxi Zheng, Alex Jinpeng Wang, Fangming Liu, Linjie Li
개요
본 논문은 시각적 물리적 추론 능력을 평가하기 위한 새로운 벤치마크 MVPBench를 제시합니다. OpenAI o3 및 GPT-4o와 같은 최첨단 다중 모달 대규모 언어 모델(MLLM)이 시각적 물리적 추론, 특히 복잡한 장면에서 기본적인 물리 법칙, 공간적 상호 작용 및 인과 관계를 이해하는 데 어려움을 겪는다는 것을 보여줍니다. MVPBench는 시각적 사고 연쇄(CoT)를 통해 여러 이미지 입력과 단계별 추론 과정을 필요로 하며, 그래프 기반 CoT 일관성 측정을 사용하여 모델의 추론 경로가 유효한 물리적 논리에 부합하는지 확인합니다. 실험 결과, 최첨단 MLLM조차도 물리적 영역에서 낮은 시각적 추론 정확도와 약한 이미지-텍스트 정렬을 보이며, 강화 학습 기반 후속 학습 정렬이 공간적 추론을 저해할 수 있음을 밝힙니다.
시사점, 한계점
•
시사점:
◦
최첨단 MLLM의 시각적 물리적 추론 능력의 부족을 명확히 보여주는 새로운 벤치마크 MVPBench를 제시합니다.
◦
시각적 사고 연쇄(CoT)를 활용하여 다단계 추론 과정을 평가하고, 그래프 기반 측정으로 추론의 일관성을 검증하는 새로운 평가 방법을 제시합니다.
◦
강화 학습 기반 미세 조정이 시각적 추론 성능을 향상시킨다는 일반적인 믿음과 달리, 공간적 추론을 저해할 수 있음을 보여줍니다. 이는 기존의 미세 조정 방식에 대한 재고를 필요로 합니다.
•
한계점:
◦
MVPBench의 범위와 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
제시된 그래프 기반 CoT 일관성 측정 방식의 한계 및 개선 여지에 대한 논의가 부족합니다.
