Policy-labeled Preference Learning: Is Preference Enough for RLHF?
Created by
Haebom
저자
Taehyun Cho, Seokhun Ju, Seungyub Han, Dohyeong Kim, Kyungjae Lee, Jungwoo Lee
개요
본 논문은 인간의 선호도로부터 보상 함수를 학습하고 강화 학습 알고리즘을 통해 정책을 최적화하는 인간 피드백으로부터의 강화 학습(RLHF)의 한계점을 해결하기 위해 제안된 연구입니다. 기존 RLHF 방법들은 최적 정책에 의해 생성된 것으로 궤적을 잘못 해석하여 부정확한 가능성 추정과 비최적 학습을 초래하는 문제점을 가지고 있습니다. 본 논문에서는 명시적인 보상 없이 최적 정책을 직접 학습하는 직접 선호도 최적화 프레임워크에서 영감을 얻어, 행동 정책 정보를 반영하는 후회(regret)를 이용하여 인간 선호도를 모델링함으로써 가능성 불일치 문제를 해결하는 정책-라벨링 선호도 학습(PPL)을 제안합니다. 또한, 후회 기반 원리에서 파생된 대조적 KL 정규화를 제공하여 순차적 의사결정에서 RLHF를 향상시킵니다. 고차원 연속 제어 작업에 대한 실험을 통해 PPL이 오프라인 RLHF 성능을 크게 향상시키고 온라인 환경에서도 효과적임을 보여줍니다.
