본 논문은 오프라인 강화학습(Offline RL)의 한계점인 환경과의 상호작용 부재로 인한 최적이 아닌 행동 학습 및 부정확한 가치 추정 문제를 해결하기 위해, 온라인에서 쉽게 구할 수 있는 다양한 비표시 비디오 데이터로부터 상호작용적 세계 모델을 구성하는 모델 기반 접근 방식인 Video-Enhanced Offline RL (VeoRL)을 제시합니다. VeoRL은 모델 기반 행동 지침을 활용하여 자연 비디오의 제어 정책 및 물리적 동역학에 대한 상식적 지식을 목표 도메인 내 RL 에이전트로 전이합니다. 로봇 조작, 자율 주행 및 오픈 월드 비디오 게임의 시각 운동 제어 작업에서 상당한 성능 향상(어떤 경우에는 100% 초과)을 달성합니다.
