본 논문은 인간 피드백으로부터 강화 학습(RLHF)을 사용하여 대규모 언어 모델(LLM)의 출력을 인간의 선호도에 맞추는 방법을 다룹니다. 기존 RLHF 알고리즘들은 대부분 Bradley-Terry 모델을 사용하여 보상 함수를 학습하지만, 이 모델은 인간 선호도에 대한 가정이 현실 세계 판단의 복잡성과 변동성을 반영하지 못할 수 있습니다. 본 논문에서는 이러한 보상 모델의 오류에도 성능을 향상시키는 강건한 알고리즘을 제안합니다. 이론적으로 제안된 알고리즘은 보상 및 정책 추정기의 분산을 줄여, 개선된 후회 경계(regret bounds)를 제공합니다. LLM 벤치마크 데이터셋에 대한 실험적 평가 결과, 제안된 알고리즘은 기존 방법보다 일관되게 우수한 성능을 보이며, Anthropic Helpful and Harmless 데이터셋에서 77-81%의 응답이 기준 알고리즘보다 선호되는 것으로 나타났습니다.
