본 논문은 다중 모달 대규모 언어 모델(MLLM)의 추론 능력 향상을 위한 새로운 학습 방법인 Metis-RISE를 제안합니다. 기존 강화 학습(RL) 기반 방법의 표본 비효율성 및 추론 능력 부재 문제, 그리고 감독식 미세 조정(SFT) 후 RL을 사용하는 파이프라인 방식의 탐색 능력 제한 및 최적화되지 않은 수렴 문제를 해결하기 위해, Metis-RISE는 RL 단계로 시작하여 모델의 잠재적 추론 능력을 활성화합니다. 이후, RL 단계에서 발견된 비효율적인 궤적 샘플링 문제는 자기 증류된 추론 궤적을 사용하여, 추론 능력 부재 문제는 전문가 지식을 주입하여 해결합니다. 7B 및 72B 파라미터의 두 가지 버전의 MLLM을 개발하여 OpenCompass Multimodal Reasoning Leaderboard에서 최첨단 성능을 달성했습니다.
