Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

Created by

Haebom

저자

Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

💡 개요

본 논문은 강화학습을 활용한 LLM의 추론 성능 향상이 출력 다양성을 저해하는 문제를 해결하기 위해, 기존 GFlowNets에서 단순히 정규화 항으로만 여겨지던 파티션 함수를 각 프롬프트별 예상 보상(온라인 정확도) 신호로 재해석합니다. 이를 통해 학습 효율성을 높이는 PACED-RL 프레임워크를 제안하며, 실험 결과 GRPO 및 기존 GFlowNets 기반 방법론 대비 우수한 성능을 보입니다.

🔑 시사점 및 한계

•

파티션 함수를 단순히 정규화 항이 아닌, 각 프롬프트별 정확도 예측 신호로 활용하여 강화학습 학습 효율성을 획기적으로 개선할 수 있습니다.

•

제안하는 PACED-RL은 정확도 예측을 통해 학습에 유용한 프롬프트에 우선순위를 부여하고, 오차를 우선적으로 재학습하여 샘플 효율성을 증대시킵니다.

•

GFlowNets 학습 과정에서 생성되는 정보를 재활용하여 추가적인 계산 오버헤드를 최소화합니다.

PDF 보기

Made with Slashpage