본 논문은 오프라인 강화학습에서 분포 외(OOD) 샘플로 인한 성능 저하를 최소화하기 위해 고성능 정책을 고정된 데이터셋으로부터 추출하는 것을 목표로 한다. 특히, 학습된 동역학 모델을 통해 생성된 증강 데이터를 사용하여 OOD 문제를 완화하는 오프라인 모델 기반 강화학습(MBRL)에 초점을 맞춘다. 기존의 오프라인 MBRL 방법들이 희소 보상 및 장기간 과제에서 어려움을 겪는다는 점을 지적하며, 시간적 구조를 갖는 잠재 공간에서 증강 전이를 생성하는 새로운 MBRL 프레임워크인 TempDATA를 제안한다. TempDATA는 궤적 및 전이 수준의 상태 공간 모두에서 시간적 거리를 포착하는 잠재적 추상화를 학습하여 장기간의 행동을 모델링한다. 실험 결과, TempDATA가 기존의 오프라인 MBRL 방법들을 능가하고, 확산 기반 궤적 증강 및 목표 조건화 강화학습과 동등하거나 우수한 성능을 D4RL AntMaze, FrankaKitchen, CALVIN 및 픽셀 기반 FrankaKitchen에서 달성함을 보여준다.
