Generalization in offline RL: The structure is more important than the amount of pessimism

작성자

Haebom

카테고리

Empty

저자

Max Weltevrede, Matthijs T. J. Spaan, Wendelin Bohmer

💡 개요

본 논문은 오프라인 강화학습에서 과도한 비관주의(pessimism)가 최적의 일반화(generalization)를 방해한다는 일반적인 통념에 도전합니다. 저자들은 비관주의의 양보다는 최적해의 대칭성(symmetry)을 존중하는 비관적 구조가 일반화 성능에 더 중요하다고 주장하며, 이를 이론적으로 증명했습니다. 데이터 증강(data augmentation)을 이용한 대칭적 가치 함수 추정이 일반화 성능을 향상시킬 수 있음을 제시합니다.

🔑 시사점 및 한계

•

오프라인 강화학습에서 일반화 성능은 비관주의의 정도보다 최적해의 구조적 대칭성을 따르는 비관적 추정치에 의해 좌우됩니다.

•

데이터 증강은 단순히 학습 데이터셋을 늘리는 것보다, 정책 추출 시점에 일관성 손실(consistency loss)을 적용하는 방식으로 활용될 때 더 효과적입니다.

•

회전 대칭성을 갖는 환경에서 IQL과 CQL 알고리즘을 통해 제안된 데이터 증강 방식의 효용성을 실증적으로 검증했습니다.

•

모든 종류의 환경에서 비관주의 구조의 중요성을 일반화하거나, 데이터 증강의 최적 활용 방안을 탐색하는 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage