본 논문은 심층 강화 학습(DRL) 에이전트의 훈련 단계 수와 경험 재생 버퍼 크기 감소를 위한 새로운 이론적 결과를 제시합니다. 기존의 반실제 손실(counterfactual loss) 경계에 집중하는 방법과 달리, 본 논문은 DRL의 온-폴리시 손실과 유사한 실제 손실(factual loss)에 대한 인과적 경계를 설정합니다. 이는 과거 가치 네트워크 출력을 경험 재생 버퍼에 저장하여 일반적으로 버려지는 데이터를 효과적으로 활용하는 방식입니다. Atari 2600과 MuJoCo 환경에서 DQN 및 SAC와 같은 다양한 에이전트에 대한 광범위한 실험을 통해 최대 2,427%의 보상 비율 향상과 최대 96%의 경험 재생 버퍼 크기 감소를 달성하여, 무시할 만한 비용으로 샘플 효율성을 크게 개선함을 보여줍니다.
