본 논문은 대규모 언어 모델(LLM)의 응답을 인간의 선호도에 맞추는 새로운 프레임워크인 Hard Preference Sampling (HPS)을 제안합니다. 기존의 Plackett-Luce (PL) 및 Bradley-Terry (BT) 모델 기반 선호도 최적화 방법들이 유해 콘텐츠 처리, 비선호 응답의 비효율적인 사용, 그리고 PL의 경우 높은 계산 비용 등의 문제점을 가지는 것에 비해, HPS는 가장 선호되는 응답을 우선시하고 모든 비선호 및 유해 응답을 거부하는 훈련 손실을 도입하여 이러한 문제들을 해결합니다. 특히 선호되는 응답과 유사한 "hard" 비선호 응답에 중점을 두어 모델의 거부 능력을 향상시키고, 단일 샘플 Monte Carlo 샘플링 전략을 활용하여 계산 오버헤드를 줄이면서 정렬 품질을 유지합니다. 이론적으로 HPS는 기존 PL 방법보다 샘플 효율성을 높이고 선호되는 응답과 비선호되는 응답 간의 보상 차이를 극대화하여 더 명확한 구분을 보장합니다. HH-RLHF 및 PKU-Safety 데이터셋에 대한 실험을 통해 HPS의 효과를 검증하여, 유사한 BLEU 및 보상 점수를 달성하면서 보상 차이를 크게 개선하여 유해 콘텐츠 생성을 줄이는 것을 확인했습니다.
