GThinker: Towards General Multimodal Reasoning via Cue-Guided Rethinking
Created by
Haebom
저자
Yufei Zhan, Ziheng Wu, Yousong Zhu, Rongkun Xue, Ruipu Luo, Zhenghao Chen, Can Zhang, Yifan Li, Zhentao He, Zheming Yang, Ming Tang, Minghui Qiu, Jinqiao Wang
개요
본 논문은 다양한 시나리오에서 시각 중심의 다중 모달 추론 작업에서 기존의 다중 모달 대규모 언어 모델(MLLM)의 성능 저하 문제를 해결하기 위해 새로운 추론 MLLM인 GThinker를 제안합니다. GThinker는 시각적 단서를 기반으로 추론을 수행하고 불일치를 해결하기 위해 이러한 단서를 반복적으로 재해석하는 유연한 추론 패턴인 Cue-Rethinking을 도입합니다. 패턴 기반 콜드 스타트와 인센티브 강화 학습을 포함하는 2단계 교육 파이프라인을 통해 다양한 영역에서 다중 모달 추론 능력을 가능하게 합니다. 또한, 일반적인 다중 모달 추론을 위한 데이터 부족 문제를 해결하고자 7,000개의 고품질, 반복적으로 주석이 달린 추론 경로와 4,000개의 큐레이션된 강화 학습 샘플로 구성된 GThinker-11K 데이터셋을 구축했습니다. 실험 결과, GThinker는 M$^3$CoT 벤치마크에서 81.5%의 성능을 달성하여 최신 O4-mini 모델을 능가했으며, 일반 시나리오 다중 모달 추론 벤치마크에서 평균 2.1% 향상된 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
시각 중심 다중 모달 추론 작업에서 기존 MLLM의 한계를 극복하는 새로운 모델 GThinker 제시
◦
Cue-Rethinking이라는 새로운 추론 패턴을 통해 시각 정보를 효과적으로 통합
◦
2단계 교육 파이프라인을 통해 다양한 영역에서의 다중 모달 추론 성능 향상
◦
일반적인 다중 모달 추론을 위한 고품질 데이터셋 GThinker-11K 구축
◦
M$^3$CoT 및 다른 벤치마크에서 기존 최고 성능 모델들을 능가하는 성능 입증
•
한계점:
◦
GThinker-11K 데이터셋의 규모가 여전히 제한적일 수 있음. 더 큰 규모의 데이터셋으로의 확장 필요성
◦
Cue-Rethinking 패턴의 일반화 가능성 및 다양한 시각적 단서에 대한 적응력에 대한 추가 연구 필요
