Gradual Transition from Bellman Optimality Operator to Bellman Operator in Online Reinforcement Learning
Created by
Haebom
저자
Motoki Omura, Kazuki Ota, Takayuki Osa, Yusuke Mukuta, Tatsuya Harada
개요
본 논문은 연속적인 행동 공간에서의 강화 학습을 위한 actor-critic 방법에 초점을 맞추고 있습니다. 기존 연속 행동 공간 강화 학습 알고리즘들은 Bellman operator를 이용하여 현재 정책에 대한 Q-값을 모델링하지만, 최적 값 함수를 모델링하지는 않습니다. 이는 샘플 효율성 저하로 이어집니다. 본 연구는 Bellman optimality operator를 actor-critic 프레임워크에 통합하는 효과를 조사합니다. 간단한 환경에서의 실험을 통해 최적 값 모델링이 학습 속도를 높이지만 과대 추정 편향을 야기함을 보였습니다. 이를 해결하기 위해 Bellman optimality operator에서 Bellman operator로 점진적으로 전환하는 어닐링 기법을 제안합니다. TD3 및 SAC와 결합된 본 방법은 다양한 이동 및 조작 작업에서 기존 방법보다 성능이 뛰어나고 최적성 관련 하이퍼파라미터에 대한 강건성을 보입니다. 코드는 https://github.com/motokiomura/annealed-q-learning 에서 확인 가능합니다.
시사점: Bellman optimality operator를 활용한 어닐링 기법이 연속 행동 공간 강화 학습의 샘플 효율성을 향상시키고, TD3 및 SAC와 같은 기존 알고리즘의 성능을 개선함을 보임. 최적성 관련 하이퍼파라미터에 대한 강건성 향상.
•
한계점: 간단한 환경에서의 실험 결과를 바탕으로 제안된 방법의 효과를 검증하였으므로, 더욱 복잡하고 다양한 환경에서의 추가적인 실험이 필요함. Bellman optimality operator 사용으로 인한 과대 추정 편향 문제를 어닐링 기법으로 완전히 해결했는지에 대한 추가적인 분석 필요.
