본 논문은 대규모 언어 모델(LLM)의 사고 연쇄 추론 능력 향상에 강화 학습(RL)의 역할을 연구합니다. 먼저, 다중 모달 LLM(MLLM)에서 RL 훈련 전에도 'aha moment' 패턴(자기 수정을 통한 반성)이 존재하지만, 이것이 추론 성능 향상과는 상관관계가 없을 수 있음을 보여줍니다. 이를 바탕으로, 구조화된 사고 연쇄 추론 패턴을 사용한 지도 학습 미세 조정(SFT)과 GRPO를 이용한 강화 학습을 결합한 2단계 접근 방식을 제시합니다. 실험 결과, 이 접근 방식이 다양한 다중 모달 추론 벤치마크에서 SFT 전용 및 RL 전용 방법보다 우수한 성능을 보임을 확인했습니다. 3B 및 7B 모델 모두에서 오픈 소스 MLLM 중 최첨단 성능을 달성했으며, 특히 7B 모델은 기본 모델보다 성능이 크게 향상되었습니다 (예: MathVista 66.3% → 73.4%, We-Math 62.9% → 70.4%). 본 연구는 고급 다중 모달 추론 모델 구축을 위한 실질적인 지침을 제공하며, 코드는 GitHub에서 공개됩니다.
