본 논문은 다중 모달 대규모 언어 모델(MLLM)의 사후 훈련 단계에서 지도 학습 방식의 한계를 극복하기 위해, 외부 감독 없이 지속적인 자기 개선을 가능하게 하는 안정적이고 확장 가능한 온라인 강화 학습 알고리즘인 GRPO를 활용한 MM-UPT 프레임워크를 제안합니다. MM-UPT는 여러 응답 샘플에 대한 다수결 투표를 기반으로 하는 자기 보상 메커니즘을 사용하여 기존의 보상 신호를 대체합니다. 실험 결과, MM-UPT는 Qwen2.5-VL-7B 모델의 추론 능력을 향상시키며(예: MathVista에서 66.3% → 72.9%, We-Math에서 62.9% → 68.7%), 기존의 비지도 학습 기준 모델보다 성능이 우수하고 지도 학습 기반 GRPO의 결과에 근접함을 보여줍니다. 또한, MLLM 자체가 생성한 합성 질문을 통합하여 성능을 더욱 향상시킬 수 있음을 보여주어 확장 가능한 자기 개선을 위한 유망한 접근 방식을 제시합니다. 이는 외부 감독 없이 MLLM의 지속적이고 자율적인 성능 향상을 위한 새로운 패러다임을 제시합니다.
