본 논문은 선호도 학습(PL)을 통해 인간의 가치관에 부합하는 대규모 언어 모델(LLM)을 정렬하는 데 있어, 선호도 데이터세트의 불완전하고 손상된 데이터 문제를 해결합니다. 특히, 이러한 문제를 해결하기 위해 데이터세트 내에서 가치를 견고하고 완벽하게 재조정하는 새로운 방법을 제안합니다. Bradley-Terry-Luce (BTL) 모델 및 그 일반화 모델과 같은 기존 모델을 견고하게 만드는 보장된 다항 시간 순위 알고리즘을 고안했습니다. 본 연구는 모델 응답당 최대 $O(n)$개의 교란된 쌍별 비교 결과를 허용하면서, 높은 확률로 $\epsilon$-최적 순위를 증명적으로 복구하는 알고리즘을 최초로 제안합니다. 또한, 부분적으로 관찰된 환경에서도 견고한 복구 결과를 보입니다. 실험을 통해 본 알고리즘이 일반 및 LLM 선호도 데이터세트 환경에서 적대적 노이즈 및 관찰되지 않은 비교를 잘 처리함을 확인했습니다.
