본 논문은 인간 피드백으로부터 강화 학습(RLHF)을 사용하여 대규모 언어 모델(LLM)의 출력을 인간의 선호도와 일치시키는 문제를 다룬다. 기존 RLHF 알고리즘들은 대부분 Bradley-Terry 모델을 사용하여 보상 함수를 학습하지만, 이 모델은 인간의 선호도에 대한 가정이 현실 세계 판단의 복잡성과 변동성을 반영하지 못할 수 있다는 한계를 지닌다. 본 논문에서는 이러한 보상 모델의 오류에도 불구하고 기존 접근 방식의 성능을 향상시키는 강건한 알고리즘을 제안한다. 이 알고리즘은 이론적으로 보상 및 정책 추정기의 분산을 줄여 개선된 후회 상한선을 제공한다. LLM 벤치마크 데이터 세트에 대한 실험적 평가 결과, 제안된 알고리즘은 기존 방법보다 일관되게 우수한 성능을 보이며, Anthropic Helpful and Harmless 데이터 세트에서 77~81%의 응답이 기준선보다 선호되는 것으로 나타났다.
