Diving into Self-Evolving Training for Multimodal Reasoning
Created by
Haebom
저자
Wei Liu, Junlong Li, Xiwen Zhang, Fan Zhou, Yu Cheng, Junxian He
개요
본 논문은 복잡한 추론 과제를 위한 핵심 접근법으로 떠오른 자기 진화적 학습(self-evolving training)의 다중 모달 추론(multimodal reasoning) 분야 적용에 초점을 맞춥니다. 자기 진화적 학습은 고품질 사고 과정 데이터 부족 문제를 해결하지만, 다중 모달 추론에서는 효과성이 충분히 탐구되지 않았고, 중요 요소에 대한 이해도 제한적입니다. 본 논문에서는 강화 학습(RL) 관점에서 다중 모달 추론을 위한 자기 진화적 학습을 재구성하여, 학습 방법, 보상 모델, 프롬프트 변화라는 세 가지 중요 요소를 제시합니다. 체계적인 분석을 통해 다중 모달 추론 능력을 크게 향상시키는 상대적으로 최적의 설계 원칙을 확립하고, 학습 역동성에 대한 심층적인 분석을 통해 성능 포화의 근본 원인을 밝히고 이를 완화하는 새로운 자동 균형 메커니즘을 제안합니다. 이러한 통찰력을 바탕으로, 다양한 크기의 모델과 다양한 벤치마크에서 일관된 성능 향상을 달성하는 M-STAR(Multimodal Self-evolving Training for Reasoning) 프레임워크를 제안합니다. 모든 리소스는 https://mstar-lmm.github.io 에서 공개적으로 이용 가능합니다.
