본 논문은 강화학습(RL)의 실세계 적용에 있어 주요 장애물인 샘플 효율성 문제를 해결하기 위해, 오프라인 데이터만을 활용하여 안전하고 신뢰할 수 있는 오프라인 강화학습(Offline RL) 알고리즘을 제시합니다. 기존 Offline RL 방법들의 온라인 하이퍼파라미터 튜닝 의존성 및 초기 온라인 성능에 대한 신뢰할 수 있는 경계값 부재 문제를 해결하기 위해, 두 가지 알고리즘 SOReL과 TOReL을 제안합니다. SOReL은 베이지안 접근 방식을 사용하여 환경 역학에 대한 사후 확률을 추론하고, 사후 예측 불확실성을 통해 온라인 성능을 신뢰성 있게 추정합니다. 모든 하이퍼파라미터는 오프라인으로 조정됩니다. TOReL은 정보율 기반 오프라인 하이퍼파라미터 튜닝 방법을 일반적인 오프라인 RL 접근 방식으로 확장합니다. 실험 결과, SOReL은 베이지안 설정에서 후회(regret)를 정확하게 추정하고, TOReL은 오프라인 데이터만으로 온라인 하이퍼파라미터 튜닝 방법과 경쟁력 있는 성능을 달성함을 보여줍니다. 따라서 SOReL과 TOReL은 안전하고 신뢰할 수 있는 오프라인 RL을 향한 중요한 발걸음을 내딛어 실세계 RL 적용 가능성을 높입니다. 소스코드는 공개적으로 제공됩니다.
