본 논문은 대규모 언어 모델(LLM)의 복잡한 추론 능력을 향상시키기 위해 루브릭을 활용하는 강화 학습(RL) 프레임워크인 RGR-GRPO(Reward and Guidance through Rubrics)를 제안합니다. RGR-GRPO는 세분화된 보상 신호와 오프라인 지침을 제공하여 LLM이 더 넓은 솔루션 공간을 탐색하도록 돕습니다. 14개 벤치마크에 대한 실험을 통해 RGR-GRPO가 기존 RL 방법에 비해 일관된 성능 향상을 보였으며, 특히 수학, 물리학, 화학 및 일반 추론에서 뛰어난 결과를 달성했습니다.
시사점, 한계점
•
시사점:
◦
루브릭 기반의 보상 및 지침을 통해 LLM의 다중 도메인 추론 성능을 향상시켰습니다.
◦
오프라인 지침을 활용하여 탐색 공간을 확장하고, 기존 RL 방법의 한계를 극복했습니다.
◦
다양한 분야의 벤치마크에서 우수한 성능을 입증했습니다.
◦
오프-정책 학습 중 안정적인 엔트로피 변동을 유지하여 지속적인 탐색과 성능 향상을 달성했습니다.
