본 논문은 대규모 추론 모델(LRM)의 추론 능력 향상을 위해 기존 강화학습 기반 검증 가능한 보상(RLVR) 방식의 한계를 극복하는 새로운 프레임워크인 LUFFY(Learning to reason Under OFF-policy guidance)를 제시합니다. 기존 RLVR 접근 방식은 온-폴리시(on-policy) 방식으로 모델의 출력에만 의존하여 초기 능력을 넘어서는 추론 능력을 습득하는 데 어려움을 겪습니다. LUFFY는 온-폴리시 롤아웃과 오프-폴리시 추론 경로를 결합하여 모방과 탐색 간의 균형을 동적으로 조절함으로써 이 문제를 해결합니다. 특히, 이론적으로 수렴 속도가 보장되는 Mixed-Policy GRPO 프레임워크와 규제된 중요도 샘플링을 이용한 정책 형성을 결합하여 혼합 정책 훈련 중 피상적이고 경직된 모방을 방지합니다. 실험 결과, LUFFY는 기존 RLVR 방법들에 비해 6개의 수학 벤치마크에서 평균 +6.4 이상의 성능 향상을 달성했으며, 분포 외 작업에서도 +6.2 이상의 성능 향상을 보였습니다. 특히, 온-폴리시 RLVR이 완전히 실패하는 시나리오에서도 약한 모델을 성공적으로 훈련시킬 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
오프-폴리시 지도를 활용한 RLVR의 잠재력을 보여줌.
◦
온-폴리시 RLVR의 한계를 극복하고 추론 능력 향상에 기여.
◦
다양한 수학 벤치마크 및 분포 외 작업에서 성능 향상을 입증.
◦
약한 모델의 훈련 성공을 통해 RLVR의 적용 범위 확장 가능성 제시.
•
한계점:
◦
LUFFY의 성능 향상이 특정 수학 벤치마크 및 작업에 국한될 가능성.
◦
규제된 중요도 샘플링 및 Mixed-Policy GRPO 프레임워크의 매개변수 조정에 대한 추가적인 연구 필요.
