F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare
작성자
카테고리
Empty
저자
Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov
💡 개요
본 논문은 강화학습에서 샘플링 그룹 크기의 한계로 인해 발생하는 드물지만 올바른 궤적을 놓치는 문제를 해결하기 위해 F-GRPO라는 새로운 방법을 제안합니다. 제안된 방법은 Focal Loss에서 영감을 받은 난이도 인식 스케일링 계수를 도입하여 성공률이 높은 샘플링 그룹에 대한 업데이트를 다운웨이팅합니다. 이를 통해 LLM 수학 능력 평가 등 다양한 실험에서 계산 비용 증가 없이 성능 향상을 보여줍니다.
🔑 시사점 및 한계
•
강화학습에서 샘플링 그룹 크기의 제약으로 인한 "희귀하지만 올바른" 궤적 학습 실패 문제를 이론적으로 분석하고, 이를 해결하기 위한 실용적인 방법론을 제시했습니다.
•
제안된 F-GRPO 방법은 기존 강화학습 알고리즘(GRPO, DAPO, CISPO)에 적용 가능하며, 계산량 증가 없이도 LLM의 추론 및 문제 해결 능력을 향상시키는 효과를 입증했습니다.
•
본 연구는 샘플링 그룹 크기와 학습 효율성 간의 비단조적인 관계를 밝히고, 이에 기반한 효과적인 스케일링 전략을 제시하지만, 다양한 복잡한 실제 환경에서의 일반화 성능 및 다른 종류의 강화학습 문제에 대한 적용 가능성은 추가 연구가 필요합니다.