Entropy-Regularized Adjoint Matching for Offline RL

작성자

Haebom

카테고리

Empty

저자

Abdelghani Ghanem, Mounir Ghogho

💡 개요

본 논문은 오프라인 강화학습에서 복잡하고 다봉적 행동을 포착할 수 있는 생성 모델의 통합을 제안합니다. 기존 QAM 방법론이 고정된 행동 분포에 의존하여 발생하는 인기 편향과 지원 제약 문제를 해결하기 위해, 제안하는 Maximum Entropy Adjoint Matching (ME-AM)은 거울 하강 기반 엔트로피 최대화와 혼합 행동 사전(Mixture Behavior Prior)을 통해 이를 극복합니다. 이를 통해 ME-AM은 오프라인 데이터에서 최적의 정책을 추출하고, 낮은 데이터 밀도 영역에서도 고보상 행동을 탐색하며, 생성 벡터장의 절대 연속성을 유지하면서도 강력한 성능을 보여줍니다.

🔑 시사점 및 한계

•

오프라인 강화학습에서 생성 모델의 유연성을 활용하면서도 기존 방법론의 편향 문제를 효과적으로 완화할 수 있습니다.

•

엔트로피 최대화와 기하학적 지원 확장을 통해 희소 보상 환경에서도 고보상 행동 탐색 및 최적 정책 추출 가능성을 높였습니다.

•

제안된 ME-AM은 다양한 희소 보상 연속 제어 환경에서 기존 SOTA 방법론과 경쟁하거나 능가하는 성능을 보였습니다.

•

향후 연구에서는 ME-AM의 계산 복잡성을 최적화하거나, 실제 로봇 제어와 같은 더 복잡하고 현실적인 환경에 적용하는 방안을 탐구할 수 있습니다.

PDF 보기

Made with Slashpage