본 논문은 훈련 환경과 배포 환경의 동역학이 다른 오프 다이내믹스 강화 학습(RL) 문제를 다룬다. 이는 전이 동역학의 불확실성을 고려하는 견고한 마르코프 결정 과정(RMDP)으로 공식화된다. 기존 연구는 생성 모델 접근 또는 광범위한 데이터셋을 가정하여 탐험의 어려움을 간과했다. 본 연구는 에이전트가 훈련 환경과의 온라인 상호작용에 제한된 현실적인 설정을 연구하며, 훈련 및 배포 동역학 간의 불일치를 측정하는 새로운 지표인 supremal visitation ratio를 도입한다. 이 비율이 무한대일 경우 온라인 학습이 기하급수적으로 어려워짐을 보이고, f-divergence 기반 전이 불확실성을 가진 온라인 RMDP에서 서브 리니어 후회를 달성하는 최초의 계산 효율적인 알고리즘을 제안한다. 또한, 후회 하한을 설정하여 알고리즘이 supremal visitation ratio와 상호 작용 에피소드 수 모두에 대해 최적의 의존성을 달성함을 입증한다. 마지막으로, 수치 실험을 통해 이론적 결과를 검증한다.
