본 논문은 강화 학습 기반 후속 학습을 통해 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 연구에 대해 다룹니다. 특히, 그룹 기반 정규화 보상을 사용하는 PPO 스타일 강화 학습 알고리즘인 GRPO(Group Relative Policy Optimization)의 효과를 보였으나, 비디오 LLM에 대한 적용은 미흡했습니다. 이에 본 논문에서는 비디오 LLM에 GRPO를 적용하면서 발생하는 두 가지 주요 문제점, 즉 안전장치 의존 및 vanishing advantage 문제를 제기하고, 이를 해결하기 위해 Reg-GRPO(Regressive GRPO)와 난이도 인식 데이터 증강 전략을 사용하여 훈련된 비디오 LLM인 DeepVideo-R1을 제안합니다. Reg-GRPO는 GRPO 목표를 회귀 문제로 재구성하여 이점을 직접 예측함으로써 안전장치를 제거하고 정책 안내를 개선합니다. 또한, 난이도 인식 데이터 증강 전략은 해결 가능한 난이도 수준에서 훈련 샘플을 동적으로 증강하여 다양하고 유익한 보상 신호를 제공합니다. 실험 결과, DeepVideo-R1은 여러 비디오 추론 벤치마크에서 비디오 추론 성능을 크게 향상시켰습니다.
