본 논문은 강화학습 기반의 대규모 언어 모델(LLM) 미세조정에서 보상 모델의 부정확성 문제를 해결하기 위해, 정책 필터링을 적용한 근사 정책 최적화(PF-PPO) 알고리즘을 제안합니다. 특히 복잡한 추론을 요구하는 작업에서 보상 모델의 신뢰성이 떨어지는 문제를 해결하기 위해, 신뢰할 수 있는 보상을 받은 샘플만을 선택적으로 사용하여 정책 학습의 신호 대 잡음비를 향상시키는 방법입니다. 보상과 실제 점수 간의 결정 계수(R²)를 지표로 사용하여 최적의 필터링 전략을 선택하며, 코드 생성 및 수학 추론 작업에 대한 광범위한 실험을 통해 PF-PPO의 효과를 검증합니다. HumanEval, MBPP, LeetCode Contest (새롭게 제시된 벤치마크), Ape210K, CMATH 등 다양한 벤치마크에서 기존 최고 성능을 능가하는 결과를 보였습니다.
