Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

작성자

Haebom

카테고리

Empty

저자

Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

💡 개요

본 논문은 강화학습(RL)을 이용한 LLM의 추론 성능 향상 시 발생하는 생성 다양성 감소 문제를 해결하고자 합니다. 기존 GFlowNet 기반 연구와 달리, 파티션 함수를 단순 정규화 항으로 간주하는 대신 프롬프트별 기대 보상(온라인 정확도)으로 재해석하여 샘플 효율성을 높이는 PACED-RL 프레임워크를 제안합니다.

🔑 시사점 및 한계

•

파티션 함수를 단순 정규화가 아닌, 프롬프트별 정확도 추정 신호로 활용하여 LLM 학습의 샘플 효율성을 획기적으로 개선할 수 있습니다.

•

PACED-RL은 정확도 추정치를 활용하여 학습 데이터 선택 및 오류 우선 재생 등 두 가지 방식으로 학습 효율을 극대화하며, 기존 GFlowNet 학습 과정의 계산 오버헤드를 재활용합니다.

•

다양한 벤치마크에서 PACED-RL은 GRPO 및 기존 GFlowNet 방법론 대비 우수한 성능을 보였으며, LLM의 분포 일치 학습에 유망한 방향을 제시합니다.

PDF 보기

Made with Slashpage