본 논문은 선호도 최적화(PO) 성능이 기반이 되는 선호도 데이터셋과 관련이 있다는 점에 주목하여, 선호하는 응답 $y^+$와 선호하지 않는 응답 $y^-$ 간의 차이가 LLM 학습에 영향을 미친다는 점을 밝힙니다. 이러한 차이를 거리와 보상 마진으로 정량화하고, 이를 결합하여 Distance Calibrated Reward Margin (DCRM)이라는 지표를 제안합니다. DCRM은 노이즈 차이를 최소화하고 원하는 차이를 최대화하는 것을 목표로 하며, 이를 통해 다양한 선호도 데이터셋의 품질을 평가하고, DCRM이 높은 데이터셋으로 학습했을 때 더 나은 학습 결과를 얻을 수 있음을 확인합니다. 이러한 발견을 바탕으로, DCRM이 높은 응답 쌍을 선택하는 best-of-$N^2$ 페어링 방식을 제안하며, 실험을 통해 기존 데이터셋보다 AlpacaEval, MT-Bench, Arena-Hard 성능을 향상시킬 수 있음을 입증합니다.
