Off-policy Reinforcement Learning with Model-based Exploration Augmentation

Created by

Haebom

저자

Likun Wang, Xiangteng Zhang, Yinuo Wang, Guojian Zhan, Wenxuan Wang, Haoyu Gao, Jingliang Duan, Shengbo Eben Li

개요

강화 학습(RL)에서 탐험은 에이전트가 환경의 구조를 효과적으로 발견하고 활용하여 최적의 성능을 달성하는 데 필수적이다. 기존 탐험 방법은 능동적 탐험과 수동적 탐험으로 나뉜다. 능동적 탐험은 정책에 확률성을 도입하지만 고차원 환경에서 어려움을 겪는 반면, 수동적 탐험은 리플레이 버퍼에서 전환의 우선순위를 적응적으로 부여하여 탐험을 향상시키지만, 제한된 샘플 다양성에 제약을 받는다. 이러한 수동적 탐험의 한계를 해결하기 위해, MoGE(Modelic Generative Exploration)를 제안한다. 이는 탐험되지 않은 중요한 상태를 생성하고, 전환 모델을 통해 역학적으로 일관된 경험을 합성함으로써 탐험을 증대시킨다. MoGE는 (1) 각 상태의 정책 탐험에 대한 잠재적 영향을 평가하는 유틸리티 함수의 지침에 따라 중요한 상태를 합성하는 확산 기반 생성기와, (2) 에이전트 학습을 위해 중요한 상태를 기반으로 중요한 전환을 구성하는 1-단계 상상력 세계 모델로 구성된다. 이 방법은 오프-정책 학습 원칙에 맞춰 모듈식으로 설계되어 기존 알고리즘의 핵심 구조를 변경하지 않고도 탐험을 개선하기 위해 원활하게 통합될 수 있다. OpenAI Gym 및 DeepMind Control Suite에 대한 실험 결과에 따르면 MoGE는 탐험과 정책 학습을 효과적으로 연결하여 복잡한 제어 작업에서 샘플 효율성과 성능 모두에서 뛰어난 향상을 보인다.