Entropy-Guided Sequence Weighting (EGSW)는 강화학습 기반 대규모 언어 모델 미세조정에서 생성된 출력에 이점과 엔트로피를 기반으로 동적으로 가중치를 할당하여 탐색-활용 간의 절충을 향상시키는 새로운 접근 방식입니다. EGSW는 엔트로피 규제를 이점 기반 가중치와 통합하여 정책 업데이트의 균형을 맞춰 고차원 상태 공간에서 효율적인 탐색을 가능하게 합니다. 시퀀스에 대한 온도 조절 소프트맥스 가중치를 사용하여 EGSW는 높은 보상과 높은 불확실성 단계를 우선시하면서 훈련 안정성을 유지합니다. 원래 대규모 언어 모델(LLM) 미세 조정 중 그룹 상대 정책 최적화(GRPO)를 개선하기 위해 개발되었지만, EGSW는 다른 강화 학습(RL) 알고리즘으로 일반화될 수 있으며 단계별 및 궤적별 설정 모두에서 구현될 수 있습니다. 실험적 평가는 EGSW가 GRPO 추론 능력을 향상시켜 샘플 효율성을 향상시킨다는 것을 보여줍니다. 향후 연구는 고급 RL 방법론에 대한 EGSW의 적용을 탐구할 것입니다.
