Policy-labeled Preference Learning: Is Preference Enough for RLHF?
Created by
Haebom
저자
Taehyun Cho, Seokhun Ju, Seungyub Han, Dohyeong Kim, Kyungjae Lee, Jungwoo Lee
개요
본 논문은 인간의 선호도를 통해 보상 함수를 학습하고 강화 학습 알고리즘을 통해 정책을 최적화하는 인간 피드백 강화 학습(RLHF)의 한계점을 해결하기 위해 제안된 정책 라벨링 선호도 학습(PPL) 방법을 제시한다. 기존 RLHF 방법들은 최적 정책에 의해 생성된 것으로 궤적을 잘못 해석하여 부정확한 가능도 추정 및 비최적 학습을 초래하는 문제가 있다. 본 논문에서는 직접적 선호도 최적화 프레임워크에서 영감을 얻어, 행동 정책 정보를 반영하는 후회(regret)를 이용하여 인간의 선호도를 모델링함으로써 가능도 불일치 문제를 해결하고자 한다. 또한, 후회 기반 원리에서 유도된 대조적 KL 정규화를 제안하여 순차적 의사결정에서 RLHF를 향상시킨다. 고차원 연속 제어 작업에 대한 실험을 통해 PPL이 오프라인 RLHF 성능을 크게 향상시키고 온라인 설정에서도 효과적임을 보여준다.
시사점, 한계점
•
시사점:
◦
RLHF의 가능도 불일치 문제를 해결하는 새로운 접근 방식인 PPL 제안.
◦
후회(regret) 기반의 인간 선호도 모델링을 통해 더욱 정확한 학습 가능.
◦
대조적 KL 정규화를 통한 순차적 의사결정 성능 향상.
◦
고차원 연속 제어 작업에서 PPL의 우수한 성능 실험적으로 검증.
◦
오프라인 및 온라인 RLHF 설정 모두에 적용 가능성 제시.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 작업 및 환경에서의 PPL의 로버스트성에 대한 추가 검증 필요.
◦
후회(regret)의 정의 및 계산에 대한 추가적인 고찰 필요.
◦
고차원 연속 제어 작업에 집중된 실험 결과, 다른 유형의 작업으로의 확장성에 대한 검토 필요.