본 논문은 대규모 언어 모델(MLLM)의 추론 능력 향상을 위해 기존의 지도 학습 방식의 한계를 극복하는 새로운 강화 학습 프레임워크인 Step-wise Group Relative Policy Optimization (StepGRPO)를 제안합니다. StepGRPO는 단계별 보상을 통해 MLLM이 단순히 성공적인 추론 경로를 모방하는 것을 넘어, 잘못된 추론 경로를 이해하고 스스로 추론 능력을 향상시키도록 합니다. 이를 위해 단계별 추론 정확도 보상(StepRAR)과 단계별 추론 타당성 보상(StepRVR)이라는 두 가지 새로운 규칙 기반 보상 메커니즘을 도입하여, 필요한 중간 추론 단계를 포함하는 경로와 논리적으로 일관된 추론 과정을 따르는 경로를 보상합니다. 제안된 StepGRPO를 사용하여 개발된 R1-VL 모델 시리즈는 8개의 벤치마크 실험에서 우수한 단계별 추론 능력을 보였습니다.
시사점, 한계점
•
시사점:
◦
기존 지도 학습 기반 MLLM 추론 능력 향상 방식의 한계점을 극복하는 새로운 강화 학습 프레임워크 제시
