본 논문은 복잡한 추론 과제를 위해 자체 진화 학습(self-evolving training)을 강화학습(RL) 관점에서 재구성하여 다중 모달 추론 성능을 향상시키는 방법을 제시합니다. 기존 자체 진화 학습의 다중 모달 추론 적용에 대한 연구 부족과 성능 정체 문제를 해결하기 위해, 학습 방법, 보상 모델, 프롬프트 변화라는 세 가지 주요 요소를 분석하고, 이를 바탕으로 최적의 설계 원칙을 확립합니다. 또한, 성능 정체의 원인을 밝히고 이를 완화하기 위한 자동 균형 메커니즘을 제안합니다. 결과적으로, 다양한 크기의 모델과 벤치마크에서 일관된 성능 향상을 달성하는 M-STAR(Multimodal Self-evolving Training for Reasoning) 프레임워크를 제시하며, 모든 리소스를 공개합니다.
