본 논문은 대규모 언어 모델의 성능 향상을 위한 강화 학습(RL) 적용에 대해 다룬다. 특히, 결과 평가에 인간 피드백이 필수적인 영역(예: 심층 연구, 여행 계획)에서 RL을 사용하는 문제를 탐구한다. 인간 피드백 수집을 위한 매력적이고 확장 가능한 방법으로 선호도 데이터(쌍 또는 k-방식 순위 지정)를 활용하는데, 이러한 선호도 데이터가 결과 기반 최적화에 근본적이고 상당한 제약을 초래한다는 점을 밝힌다. 무한하고, 잡음이 없고, 온라인인 이상적인 선호도 데이터를 사용하더라도, 순서 피드백은 근사적으로 최적의 솔루션을 얻는 것을 막을 수 있다는 것을 투표 이론을 사용하여 공식화한다. 이러한 제약은 강화 학습을 통한 미세 조정(RLHF)이 추론 행동(예: 백트래킹)을 유도하는 데 불균형적으로 영향을 미치는 이유를 설명하며, 선호도 데이터의 한계가 RLHF가 강력한 전략(대부분의 추론 행동을 포함)을 유도하는 능력을 주로 억제한다는 것을 발견한다. 따라서 인간 점수 및 알고리즘 혁신이 필요함을 시사한다.
