본 논문은 대규모 언어 모델을 인간의 선호도에 맞추는 과정에서 발생하는 데이터 요구량 및 기술적 복잡성 문제를 해결하기 위해 역강화학습(Inverse Reinforcement Learning) 원리를 기반으로 한 새로운 접근 방식을 제안합니다. 기존의 RLHF(Reinforcement Learning from Human Feedback) 방법은 시범 데이터와 선호도 데이터를 모두 필요로 하는 반면, 본 논문의 방법은 시범 데이터만을 이용하여 보상 모델을 직접 학습합니다. 이를 통해 선호도 데이터가 부족한 상황에서도 모델을 정렬할 수 있으며, 기존 RLHF 방법이 가지는 한계를 극복합니다. 공개된 보상 벤치마크, HuggingFace Open LLM Leaderboard, MT-Bench를 이용한 광범위한 평가 결과, 본 논문의 접근 방식은 시범 데이터만을 사용하는 최첨단 방법들과 비교해 우수한 성능을 보이는 것으로 나타났습니다.
