본 논문은 그룹 상대 정책 최적화(GRPO)의 한계점을 해결하기 위해 도메인 인식 자기 일관성 정책 최적화(DISCO)를 제안합니다. GRPO는 인간 피드백으로부터 강화 학습(RLHF) 방법 중 하나로, 가치 함수 학습 없이도 우수한 성능을 보이지만, 실제 데이터셋처럼 불균형적인 다중 도메인 데이터에 적용될 경우 우세한 도메인에 치우쳐 학습되는 문제가 있습니다. DISCO는 도메인별 보상 조정과 어려움 기반 보상 조정이라는 두 가지 혁신적인 방법을 통해 이러한 문제를 해결합니다. 도메인별 보상 조정은 도메인 빈도를 고려하여 보상을 재조정하고, 어려움 기반 보상 조정은 프롬프트 수준의 자기 일관성을 활용하여 불확실한 프롬프트를 우선적으로 학습하여 보다 공평하고 효과적인 정책 학습을 촉진합니다. 실험 결과, DISCO는 다양한 LLM과 불균형 데이터셋에서 기존 GRPO 변형보다 성능이 5% 향상되었으며, 다중 도메인 정렬 벤치마크에서 최첨단 결과를 달성했습니다.
