본 논문은 강화학습(RL)의 실세계 적용에 있어 주요 장애물인 표본 효율 문제를 해결하기 위해, 오프라인 데이터만을 이용하여 안전하고 신뢰할 수 있는 오프라인 강화학습(offline RL) 알고리즘을 제시합니다. 기존 오프라인 RL 방법들이 하이퍼파라미터 튜닝을 위해 많은 온라인 상호작용에 의존하고 초기 온라인 성능에 대한 신뢰할 만한 경계가 없다는 문제점을 해결하기 위해, 두 가지 알고리즘 SOReL과 TOReL을 제안합니다. SOReL은 베이지안 접근 방식을 사용하여 환경 역학에 대한 사후 분포를 추론하고, 사후 예측 불확실성을 통해 온라인 성능을 신뢰할 수 있게 추정하며, 모든 하이퍼파라미터를 오프라인으로 튜닝합니다. TOReL은 정보율 기반 오프라인 하이퍼파라미터 튜닝 방법을 일반적인 오프라인 RL 접근 방식으로 확장합니다. 실험 결과, SOReL은 베이지안 설정에서 후회(regret)를 정확하게 추정하고, TOReL은 오프라인 데이터만을 사용하여 온라인 하이퍼파라미터 튜닝 방법과 비슷한 성능을 달성함을 보여줍니다. 결론적으로 SOReL과 TOReL은 안전하고 신뢰할 수 있는 오프라인 RL을 위한 중요한 발걸음을 내딛어 실세계에서 RL의 잠재력을 실현할 가능성을 높입니다. 소스 코드는 공개적으로 제공됩니다.
