본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 검증 가능한 보상을 사용하는 강화 학습(RLVR)의 문제점을 해결하기 위해 Intrinsic Confidence-Driven Group Relative Preference Optimization (ICPO) 방법을 제안한다. ICPO는 LLM이 생성한 다양한 응답의 상대적 생성 확률을 비교하여 선호도 어드밴티지 점수를 계산하고, 이를 검증 가능한 보상과 통합하여 탐색 과정을 안내한다.
시사점, 한계점
•
시사점:
◦
ICPO는 거친 보상, 보상 노이즈, 비효율적인 탐색 문제를 해결하여 LLM의 안정적인 학습과 엔트로피 붕괴를 방지한다.
◦
선호도 어드밴티지 점수를 통해 과도한 확신으로 인한 오류를 줄이고, 저평가된 고품질 응답의 상대적 우위를 강화하며, 특정 전략에 과적합되는 것을 방지하여 보다 철저한 탐색을 가능하게 한다.
◦
4개의 일반 도메인 벤치마크 및 3개의 수학적 벤치마크에서 GRPO 대비 향상된 추론 성능을 보였다.
