본 논문은 오프라인 강화학습(Offline RL)에서 데이터 샘플링 기법의 역할을 강조하며, 기존의 상태 전이(state-transition) 기반 샘플링이 성능 향상에 일관성이 없다는 점을 지적합니다. 이에 본 연구는 제한된 데이터에서 더욱 포괄적인 정보 추출을 위해 궤적(trajectory) 단위의 샘플링 기법인 (우선순위) 궤적 재생(TR/PTR)을 제안합니다. TR은 후속 상태 정보 활용을 최적화하는 역방향 샘플링을 통해 학습 효율을 높이고, PTR은 다양한 우선순위 지표를 활용하여 효율적인 궤적 샘플링을 가능하게 합니다. 또한, TR을 기반으로 미지의 행동 샘플링을 피하기 위한 가중된 비평가 목표(weighted critic target)를 구성합니다. D4RL에서 기존 오프라인 강화학습 알고리즘과 TR/PTR을 통합하여 그 효과를 실험적으로 보여줍니다. 결론적으로, 본 연구는 궤적 기반 데이터 샘플링 기법이 오프라인 강화학습 알고리즘의 효율성과 성능 향상에 중요함을 강조합니다.
