Jin Zhu, Xin Zhou, Jiaang Yao, Gholamali Aminian, Omar Rivasplata, Simon Little, Lexin Li, Chengchun Shi
개요
본 논문은 오프라인 강화학습(RL)에서 분포 이동 문제와 라벨링된 보상 데이터 부족 문제를 해결하기 위해, 풍부한 비표제 데이터를 활용하는 반-비관적 RL 방법을 제안합니다. 기존 Q-함수 또는 상태 전이 함수 대신 보상 함수의 하한을 구함으로써 학습 과정을 단순화하고, 다양한 모델 기반 및 모델 자유 RL 알고리즘과 통합될 수 있는 유연성을 제공합니다. 방대한 비표제 데이터를 활용하여 성능 향상을 보장하며, 제약 조건이 덜 엄격합니다. 다양한 방법과의 분석적 및 수치적 비교를 통해 경쟁력을 입증하고, 파킨슨병의 적응적 뇌 심부 자극 치료에 대한 적용 사례를 제시합니다.
시사점, 한계점
•
시사점:
◦
오프라인 강화학습에서 분포 이동 문제와 라벨링된 보상 데이터 부족 문제에 대한 효과적인 해결책 제시.
