오프라인 강화 학습에서 분포 밖(OOD) 행동으로 인한 가치 과대평가는 정책 성능을 제한합니다. 본 논문은 확산 모델의 강력한 분포 매칭 능력을 활용하여 보수성을 강화하는 새로운 접근 방식인 DIVO(DIffusion policies with Value-conditional Optimization)를 제안합니다. DIVO는 오프라인 데이터셋의 행동에 대한 이점 가치를 활용하는 이진 가중 메커니즘을 도입하여 고품질의 광범위한 분포 내(in-distribution) 상태-행동 샘플을 생성하고, 정책 개선을 효율적으로 수행합니다. DIVO는 D4RL 벤치마크에서 기존 방법들을 능가하는 성능을 보이며, 특히 희소 보상이 어려운 AntMaze 도메인에서 뛰어난 결과를 보였습니다.
시사점, 한계점
•
시사점:
◦
오프라인 강화 학습에서 가치 과대평가 문제를 해결하기 위한 혁신적인 접근 방식 제시.
◦
확산 모델을 활용하여 보수성과 탐험성의 균형을 맞춘 효율적인 정책 학습.
◦
이점 가치를 활용한 이진 가중 메커니즘을 통해 데이터셋 분포에 정밀하게 정렬하고 고품질 샘플 생성.
