본 논문은 강화학습 에이전트의 오프라인에서 온라인으로의 전개 과정에서 발생하는 두 가지 격차, 즉 시뮬레이션과 실제 시스템 간의 차이(sim-to-real gap)와 오프라인 학습 정책이 온라인 실행 중 분포 외 상태를 마주하는 상호작용 격차(interaction gap)를 해결하는 데 초점을 맞추고 있습니다. 특히, 오프라인 학습 데이터는 지연이 없지만 온라인 환경에서는 지연이 존재하여 마르코프 가정이 깨지는 문제를 다룹니다. 이를 해결하기 위해 지연된 역학에 대처하는 오프라인 강화학습 프레임워크인 DT-CORL(Delay-Transformer belief policy Constrained Offline RL)을 제안합니다. DT-CORL은 트랜스포머 기반의 신념 예측기를 사용하여 지연된 관측값을 학습 과정에서 보지 않더라도 지연에 강인한 행동을 생성하며, 기존의 히스토리 증강 기법보다 샘플 효율성이 뛰어납니다. D4RL 벤치마크를 이용한 실험 결과, DT-CORL은 히스토리 증강 및 일반적인 신념 기반 방법보다 우수한 성능을 보이며, 시뮬레이션과 실제 시스템 간의 지연 격차를 줄이고 데이터 효율성을 유지하는 것을 보여줍니다.
