강화 학습 기반 인간 피드백(RLHF)은 대형 언어 모델(LLM)의 출력을 인간 선호도에 맞추는 주요 기술로 부상했습니다. 기존 RLHF 알고리즘은 보상 함수 학습을 위해 Bradley-Terry 모델을 사용하지만, 이는 실제 인간 판단의 복잡성과 가변성을 반영하지 못하는 가정을 기반으로 합니다. 본 논문에서는 이러한 보상 모델 오차 지정 하에서 기존 접근 방식의 성능을 향상시키는 강력한 알고리즘을 제안합니다. 이론적으로, 제안하는 알고리즘은 보상 및 정책 추정기의 분산을 줄여 후회 경계(regret bounds)를 개선합니다. LLM 벤치마크 데이터셋에 대한 실험적 평가는 제안된 알고리즘이 기존 방법보다 일관되게 우수함을 보여주었으며, Anthropic Helpful and Harmless 데이터셋에서 응답의 77-81%가 기본 모델보다 선호되었습니다.
