Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ProReason: Multi-Modal Proactive Reasoning with Decoupled Eyesight and Wisdom

Created by
  • Haebom

저자

Jingqi Zhou, Sheng Wang, Jingwei Dong, Kai Liu, Lei Li, Jiahui Gao, Jiyue Jiang, Lingpeng Kong, Chuan Wu

개요

본 논문은 시각적 추론 과제에서 대규모 시각-언어 모델(LVLMs)이 이미지 정보보다 언어 지식을 우선시하여 성능 저하를 초래하는 문제를 해결하기 위해, 시각적 추론 과정을 '능동적 시각 인지(eyesight)'와 '텍스트 추론(wisdom)' 두 단계로 분해하는 새로운 프레임워크인 ProReason을 제안합니다. ProReason은 기존 해결책의 한계점(제한적인 다중 모달 추론 능력, 불충분하고 무관한 시각적 설명)을 극복하기 위해, 능동적 정보 수집 및 추론을 반복하여 필요하고 충분한 시각적 설명으로 답을 도출합니다. 추론 능력의 분리 설계는 기존 대규모 언어 모델(LLMs)의 통합을 가능하게 하여 LVLMs의 추론 결함을 보완합니다. 실험 결과, ProReason은 다양한 벤치마크에서 기존 다단계 추론 프레임워크를 능가하며, 평균 13.2%의 성능 향상을 보였습니다. 또한, LLM 통합을 통해 고품질 시각적 추론 데이터를 생성하여 ProReason-VL 및 ProReason-Q3과 같은 ProReason-증류 모델의 성능을 향상시켰습니다.

시사점, 한계점

시사점:
기존 LVLMs의 시각적 추론 성능 저하 문제에 대한 효과적인 해결책 제시.
능동적 시각 인지와 텍스트 추론의 분리된 접근 방식을 통한 새로운 시각적 추론 프레임워크(ProReason) 제안.
LLM 통합을 통해 LVLMs의 추론 능력을 보완하고 고품질 데이터 생성 가능.
ProReason-증류 모델을 통한 하위 작업 성능 향상.
LLM 기반 시각 추론 연구에 대한 새로운 방향 제시.
한계점:
ProReason의 성능 향상이 특정 벤치마크에 국한될 가능성.
LLM 통합에 따른 계산 비용 증가 가능성.
ProReason-증류 모델의 일반화 성능에 대한 추가 연구 필요.
다양한 유형의 시각적 추론 문제에 대한 적용성 검증 필요.
👍