본 논문은 대규모 언어 모델(LLM)의 쌍별 평가에서 발생하는 선호도 편향 문제를 해결하기 위해 UDA (Unsupervised Debiasing Alignment)라는 프레임워크를 제안한다. UDA는 엘로 평점 시스템을 동적으로 조정하여 심사위원 간의 불일치를 줄이는 것을 목표로 하며, 특히 비지도 방식으로 작동한다. UDA는 심사위원의 엘로 궤적 간 분산을 최소화하여 집단적 합의에 맞춰 정렬되도록 하며, 이를 통해 더욱 안정적이고 재현 가능한 평가를 수행한다. 실험 결과, UDA는 심사위원 간 평점 표준 편차를 최대 63.4%까지 줄이고, 인간 판단과의 평균 상관 관계를 24.7% 향상시켰다.
