ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models
Created by
Haebom
저자
Mingjie Liu, Shizhe Diao, Ximing Lu, Jian Hu, Xin Dong, Yejin Choi, Jan Kautz, Yi Dong
개요
본 논문은 강화학습(RL)을 통해 언어 모델의 추론 능력을 향상시키는 방법을 연구합니다. 기존의 RL이 기저 모델의 분포에 이미 잠재되어 있는 고보상 출력을 단순히 증폭시키는 것인지, 또는 실제로 모델의 추론 능력을 확장하는 것인지에 대한 논쟁에 대해, 장기간 RL 훈련(ProRL)이 기저 모델이 접근할 수 없는 새로운 추론 전략을 발견할 수 있음을 보여줍니다. ProRL은 KL divergence 제어, 참조 정책 재설정 및 다양한 작업을 통합한 새로운 훈련 방법론입니다. 실험 결과, RL로 훈련된 모델은 다양한 pass@k 평가에서 기저 모델을 꾸준히 능가하며, 기저 모델이 아무리 많은 시도를 해도 실패하는 경우에도 성공하는 것을 보여줍니다. 또한 추론 경계 개선은 기저 모델의 작업 역량과 훈련 기간과 강한 상관관계가 있음을 보여주어 RL이 시간이 지남에 따라 해결책 공간의 새로운 영역을 탐색하고 채울 수 있음을 시사합니다. 모델 가중치는 https://huggingface.co/nvidia/Nemotron-Research-Reasoning-Qwen-1.5B 에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
장기간 강화학습(ProRL)을 통해 기저 모델이 접근할 수 없는 새로운 추론 전략을 발견할 수 있음을 증명했습니다.
◦
RL 훈련된 모델이 다양한 평가 지표에서 기저 모델을 능가하며, 기저 모델이 실패하는 경우에도 성공적인 결과를 보였습니다.
◦
추론 경계 개선이 기저 모델의 능력과 훈련 시간과 상관관계가 있음을 밝혀, RL이 해결책 공간의 새로운 영역을 탐색하고 확장할 수 있음을 보여줍니다.
