본 논문은 AI 피드백으로부터 강화 학습(RLAIF)을 통해 훈련된 보상 모델의 일반화 성능 저하 문제를 해결하기 위해 데이터 중심 접근 방식을 제안합니다. 기존 RLAIF 방법은 분포 이동, 선호도 레이블 노이즈, 과도하게 어려운 샘플과 모델 용량 간의 불일치 등으로 인해 보상 모델의 일반화 성능이 저하되는 문제를 겪습니다. 이러한 문제들을 데이터 난이도라는 관점에서 상호 연관된 문제로 보고, 다양한 난이도 수준의 선호도 쌍을 구성하고 점진적으로 난이도를 높여 보상 모델을 훈련하는 새로운 프레임워크인 Curriculum-RLAIF를 제안합니다. 실험 결과, Curriculum-RLAIF로 훈련된 보상 모델은 일반화 성능이 향상되어 정책 모델의 정렬 성능이 크게 향상되었으며, 기존 방법들에 비해 추가적인 추론 비용이 발생하지 않았음을 보여줍니다. 외부 사전 훈련된 보상 모델 또는 내부 자체 선택 메커니즘을 이용한 데이터 선택, 다른 커리큘럼 전략 등과의 비교 분석을 통해 제안하는 방법의 단순성, 효율성 및 효과성을 입증합니다.
