Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Stable Reinforcement Learning for Efficient Reasoning

Created by
  • Haebom

저자

Muzhi Dai, Shixuan Liu, Qingyi Si

개요

본 논문은 Deepseek-R1의 성공 이후 주목받는 강화학습 기반 대규모 언어 모델(LLM) 학습 방법인 GRPO의 한계점을 해결하는 연구입니다. 기존의 0/1 기반 보상 함수는 사고 연쇄(CoT) 생성 과정의 중간 추론 과정을 제어하지 못하여 과도한 추론(overthinking) 현상을 야기합니다. 최근 연구들은 짧고 정확한 답변을 유도하는 보상 함수를 설계했지만, 길이 제약 보상 함수는 학습 불안정성을 심화시켜 정확도가 급격히 저하되는 문제가 있습니다. 본 논문에서는 이를 해결하기 위해, 각 쿼리 샘플 그룹 내 정답률을 모니터링하여 보상 전략을 동적으로 조정하는 GRPO-λ를 제안합니다. 정답률이 낮으면 길이 제약을 피하고 추론 능력을 우선시하는 0/1 보상으로 전환하고, 정답률이 높으면 길이 제약을 유지하여 효율성을 높입니다. 실험 결과, GRPO-λ는 길이 제약으로 인한 학습 불안정성을 해결하면서 정확도-효율성 균형을 유지합니다. GSM8K, GPQA, MATH-500, AMC 2023, AIME 2024 벤치마크에서 평균 정확도를 1.48% 향상시키고 CoT 시퀀스 길이를 47.3% 단축했습니다.

시사점, 한계점

시사점:
GRPO의 학습 불안정성 문제를 효과적으로 해결하는 새로운 방법 제시.
정확도와 효율성 간의 최적의 균형을 달성.
다양한 수학 문제 풀이 벤치마크에서 성능 향상을 실험적으로 검증.
한계점:
제안된 GRPO-λ의 일반화 성능에 대한 추가적인 연구 필요.
다른 강화학습 알고리즘에 대한 적용 가능성 및 성능 평가 필요.
정답률 기준의 동적 보상 전략 조정 방식의 최적 파라미터 설정에 대한 추가적인 연구 필요.
👍