How Log-Barrier Helps Exploration in Policy Optimization

작성자

Haebom

카테고리

Empty

저자

Leonardo Cesani, Matteo Papini, Marcello Restelli

💡 개요

본 논문은 기존 확률적 경사 밴딧(SGB) 알고리즘이 최적 행동 확률이 0에서 벗어나지 않는다는 비현실적인 가정 하에 전역 최적 정책으로 수렴함을 지적하며, 명시적인 탐색 메커니즘의 부재를 문제점으로 제기합니다. 이를 해결하기 위해, 제안된 로그 장벽(Log-Barrier) 정규화는 매개변수화된 정책에 최소한의 탐색을 구조적으로 강제함으로써 SGB의 목적 함수를 보강합니다. 실험 결과, 제안된 LB-SGB 알고리즘은 SGB와 동일한 샘플 복잡성을 가지면서도 비현실적인 가정 없이 수렴함을 입증했습니다.

🔑 시사점 및 한계

•

로그 장벽 정규화는 기존 SGB 알고리즘의 탐색 부족 문제를 해결하여 현실적인 학습 환경에서도 안정적인 수렴을 보장합니다.

•

로그 장벽과 자연 정책 경사(Natural Policy Gradient)는 정책 공간의 기하학적 구조를 활용하고 피셔 정보(Fisher information)를 제어한다는 점에서 이론적인 연결성을 가집니다.

•

제안된 LB-SGB는 기존 SGB보다 수렴 속도가 느릴 수 있으며, 이는 향후 연구에서 개선해야 할 과제입니다.

PDF 보기

Made with Slashpage