본 논문은 강화학습 기반 대규모 언어 모델 미세조정에서 생성된 출력에 대한 가중치를 동적으로 할당하여 탐험-활용 간의 균형을 개선하는 새로운 방법인 엔트로피 가이드 시퀀스 가중치(EGSW)를 제시합니다. EGSW는 엔트로피 규제를 이점 기반 가중치와 통합하여 정책 업데이트의 균형을 맞추고 고차원 상태 공간에서 효율적인 탐색을 가능하게 합니다. 시퀀스에 대한 온도 조절 소프트맥스 가중치를 사용하여 EGSW는 높은 보상과 높은 불확실성 단계를 우선시하면서 훈련 안정성을 유지합니다. 원래 대규모 언어 모델(LLM) 미세조정 중 그룹 상대 정책 최적화(GRPO)를 개선하기 위해 개발되었지만, EGSW는 다른 강화학습(RL) 알고리즘에도 일반화될 수 있으며 단계별 및 궤적별 설정 모두에서 구현될 수 있습니다. 실험적 평가는 EGSW가 GRPO 추론 능력을 향상시켜 샘플 효율성을 향상시킨다는 것을 보여줍니다. 향후 연구는 EGSW를 고급 RL 방법론에 적용하는 것을 탐구할 것입니다.
