대규모 언어 모델(LLM)의 정렬은 주로 쌍별 선호도 최적화에 의존해 왔지만, 본 논문은 더 풍부한 형태의 인간 피드백(예: 다중 비교, top-$k$ 랭킹)으로부터 학습할 기회를 간과한다고 지적한다. 본 연구에서는 최대 우도 추정을 통해 선호도 최적화와 (랭킹) 선택 모델링을 연결하는 통합 프레임워크인 Ranked Choice Preference Optimization (RCPO)를 제안한다. 이 프레임워크는 유틸리티 기반 및 랭크 기반 선택 모델을 모두 지원하며, DPO, SimPO와 같은 기존의 쌍별 방법을 포함하면서도 더 풍부한 피드백 형식에 대한 원칙적인 훈련 목표를 제공한다. Llama-3-8B-Instruct 및 Gemma-2-9B-it에 대한 실험 결과, RCPO가 경쟁적 기준선보다 일관되게 우수한 성능을 보였다.
