Preference Elicitation for Offline Reinforcement Learning
Created by
- Haebom
Category
Empty
저자
Alizee Pace, Bernhard Scholkopf, Gunnar Ratsch, Giorgia Ramponi
개요
본 논문은 강화학습(RL)을 실세계 문제에 적용하는 어려움, 즉 환경과의 상호작용 불가능 및 보상 함수 설계의 어려움을 해결하기 위해 오프라인 환경에서 선호도 기반 강화학습을 제안합니다. 오프라인 RL 데이터셋과 학습된 환경 모델을 활용하여 시뮬레이션된 rollout에 대한 선호도 피드백을 얻고, 이를 통해 보상 함수를 학습합니다. 비관적인 접근 방식(out-of-distribution data에 대한)과 낙관적인 접근 방식(최적 정책에 대한 정보성 선호도 획득)을 결합하여 Sim-OPRL 알고리즘을 제시하며, 최적 정책의 범위를 얼마나 잘 커버하는지에 따라 샘플 복잡도에 대한 이론적 보장을 제공합니다. 다양한 환경에서의 실험 결과도 제시합니다.
시사점, 한계점
•
시사점:
◦
오프라인 환경에서 선호도 기반 강화학습을 가능하게 하는 새로운 알고리즘(Sim-OPRL) 제시.
◦
오프라인 데이터와 학습된 환경 모델을 효과적으로 활용하여 선호도 피드백을 얻는 방법 제시.
◦
비관적 및 낙관적 접근 방식을 결합하여 알고리즘 성능 향상.
◦
샘플 복잡도에 대한 이론적 보장 제공.
•
한계점:
◦
학습된 환경 모델의 정확도에 알고리즘 성능이 의존적일 수 있음.
◦
최적 정책의 범위를 얼마나 잘 커버하는지에 따라 성능이 달라질 수 있음.
◦
다양한 환경에서의 실험 결과 제시는 되었으나, 실세계 문제에 대한 적용 및 일반화 성능에 대한 추가적인 연구가 필요함.
