기존 LLM 정렬 방식은 인간 선호도의 다양성에 취약합니다. 제안된 "sign estimator"는 교차 엔트로피를 이진 분류 손실로 대체하여 단순하고, 입증된 일관성, 효율적인 추정기를 제공합니다. 이 방법은 완만한 가정 하에서 일관된 서수 정렬을 회복하며, 이 설정에서 최초로 다항식 유한 표본 오차 범위를 달성합니다. 디지털 트윈을 사용한 현실적인 LLM 정렬 시뮬레이션에서 sign estimator는 시뮬레이션된 페르소나 패널 전반에서 선호도 왜곡을 크게 줄이고, 표준 RLHF에 비해 (각도) 추정 오차를 약 35% 감소시키고, 실제 인구 선호도와의 불일치를 12%에서 8%로 줄였습니다. 이 방법은 또한 사용자 이질성을 명시적으로 모델링하고 개별 수준 선호도 데이터를 추적해야 하는 패널 데이터 휴리스틱과 비교해도 유리하며, 기존 LLM 정렬 파이프라인의 구현 단순성을 유지합니다.
