본 논문은 오프라인 강화학습(RL)에서 센서나 인간 입력으로부터 수집된 실제 데이터셋의 노이즈 및 에러 문제를 해결하기 위해, 확산 모델을 이용한 새로운 접근 방식인 Ambient Diffusion-Guided Dataset Recovery (ADG)를 제안합니다. ADG는 부분적으로 손상된 데이터셋에서 학습이 가능하도록 근사 분포로부터 Ambient Denoising Diffusion Probabilistic Models (DDPM)을 도입하고, 노이즈 예측 특성을 이용하여 깨끗한 데이터와 손상된 데이터를 구분합니다. 이후 깨끗한 데이터셋으로 표준 DDPM을 학습시키고, 학습된 DDPM을 이용하여 손상된 데이터를 개선하여 오프라인 RL 학습의 성능을 향상시킵니다. MuJoCo, Kitchen, Adroit 등 다양한 벤치마크에서 ADG가 다양한 노이즈 환경에서 오프라인 RL의 강건성을 향상시키고 최첨단 결과를 달성함을 실험적으로 보여줍니다. ADG는 어떤 오프라인 RL 알고리즘에도 통합될 수 있는 다용성을 가집니다.
