본 논문은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 직접 정렬 방법의 한계점을 해결하기 위해 새로운 선호도 정렬 방법을 제안합니다. 기존의 직접 정렬 방법은 선호 및 비선호 응답에 유사한 가능성을 유도하는 잡음이 많은 선호도 쌍으로 인해 장황함과 가능성 변위 문제를 겪습니다. 이 논문은 비교 오라클을 기반으로 하는 새로운 선호도 정렬 방법을 제안하고 기본 계획에 대한 수렴 보장을 제공합니다. 또한 휴리스틱을 사용하여 이 방법을 개선하고, 잡음이 많은 선호도 쌍을 사용하여 LLM의 성능을 향상시키는 실용적인 계획의 유연성과 호환성을 보여주는 실험을 수행합니다. Mistral-7B, Llama-3-8B, Gemma-2-9B 등 여러 기본 및 지시어 조정 모델과 AlpacaEval 2, MT-Bench, Arena-Hard 등의 벤치마크를 사용하여 평가를 수행했습니다. 실험 결과는 제안된 방법이 기존 직접 정렬 방법의 한계를 해결하는 대안으로 효과적임을 보여줍니다. 특히, 서로 다른 가능성 마진을 가진 선호도 쌍에 대해 특수한 방법을 설계하는 중요성을 증명하여 \citet{Razin-2025-Unintentional}의 최근 연구 결과를 보완합니다.
