Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition

작성자

Haebom

카테고리

Empty

저자

Sanjeev Manivannan, Shuban V

💡 개요

이 연구는 강화학습의 할인된 보상 설정에서 정책 경사법의 가치 근사 문제를 해결하기 위해 2차 근사 기반 액터-크리틱 방법을 제안합니다. 특히, 2차 최적화의 장점을 살리면서도 헤시안 추정의 계산 복잡성을 완화하기 위해 정책 헤시안 분해를 활용하며, 이를 통해 효율적이고 안정적인 2차 액터 업데이트를 구현합니다.

🔑 시사점 및 한계

•

2차 최적화의 커브처 정보를 활용하여 기존 1차 액터-크리틱 방법보다 빠른 수렴 속도를 기대할 수 있습니다.

•

2-타임스케일 액터-크리틱 프레임워크를 통해 액터 업데이트에서 크리틱을 준정적인 것으로 간주함으로써 2차 근사의 안정성을 확보합니다.

•

헤시안-벡터 곱(HVP) 계산을 활용하여 2차 업데이트의 계산 효율성을 높였습니다.

•

제안된 방법론의 실제 적용 가능성과 다양한 할인된 MDP 환경에서의 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage