본 논문은 인간 피드백으로부터 강화 학습(RLHF)에서 인간의 선호도를 대리하는 보상 모델(RM)의 모델 선호 편향 문제를 다룹니다. 특정 정책 모델의 응답에 과도하게 높은 점수를 부여하는 RM의 편향을 확인하고, 이 편향이 순위 평가를 왜곡하고 불공정한 판단으로 이어진다는 점을 지적합니다. 이 문제를 해결하기 위해, Chatbot Arena 리더보드의 Elo 점수를 활용하여 RM 과대평가를 완화하는 보정 방법인 CHARM(Chatbot Arena calibrated Reward Modeling)을 제안합니다. 또한, 이러한 선호도 편향을 측정하는 불일치 정도(Mismatch Degree) 지표를 제시합니다. CHARM은 계산 효율이 높으며, RM의 지속적인 훈련을 위해 소량의 선호도 데이터만 필요합니다. 실험 결과, 보정된 RM은 RM-Bench와 RewardBench의 Chat-Hard 도메인에서 평가 정확도가 향상되었고, Elo 순위와 더 밀접하게 일치하는 점수를 생성하여 인간 선호도와의 상관관계가 강화됨을 보여줍니다. 결론적으로, 모델 선호도 편향을 완화하여 더 공정하고 신뢰할 수 있는 보상 모델을 구축하는 일반적이고 효율적인 해결책을 제공합니다.
