ProReason: Multi-Modal Proactive Reasoning with Decoupled Eyesight and Wisdom
Created by
Haebom
저자
Jingqi Zhou, Sheng Wang, Jingwei Dong, Kai Liu, Lei Li, Jiahui Gao, Jiyue Jiang, Lingpeng Kong, Chuan Wu
개요
본 논문은 시각적 추론 과제에서 대규모 시각-언어 모델(LVLMs)이 이미지 정보보다 언어 지식을 우선시하여 성능 저하를 초래하는 문제를 해결하기 위해, 시각적 추론 과정을 '능동적 시각 인지(eyesight)'와 '텍스트 추론(wisdom)' 두 단계로 분해하는 새로운 프레임워크인 ProReason을 제안합니다. ProReason은 기존 해결책의 한계점(제한적인 다중 모달 추론 능력, 불충분하고 무관한 시각적 설명)을 극복하기 위해, 능동적 정보 수집 및 추론을 반복하여 필요하고 충분한 시각적 설명으로 답을 도출합니다. 추론 능력의 분리 설계는 기존 대규모 언어 모델(LLMs)의 통합을 가능하게 하여 LVLMs의 추론 결함을 보완합니다. 실험 결과, ProReason은 다양한 벤치마크에서 기존 다단계 추론 프레임워크를 능가하며, 평균 13.2%의 성능 향상을 보였습니다. 또한, LLM 통합을 통해 고품질 시각적 추론 데이터를 생성하여 ProReason-VL 및 ProReason-Q3과 같은 ProReason-증류 모델의 성능을 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
기존 LVLMs의 시각적 추론 성능 저하 문제에 대한 효과적인 해결책 제시.
◦
능동적 시각 인지와 텍스트 추론의 분리된 접근 방식을 통한 새로운 시각적 추론 프레임워크(ProReason) 제안.
