본 논문은 Actor-Critic 강화학습을 이중 수준 최적화(BLO) 문제 또는 Stackelberg 게임으로 특징지음으로써, 기존 Actor-Critic 알고리즘을 개선하는 두 가지 방법을 제시합니다. 첫째, 비평가(critic)의 업데이트를 중첩하여 행위자(actor)의 정책에 대한 최적의 반응을 학습하도록 하고, 둘째, 행위자는 비평가의 행동 변화를 고려하는 초기울기(hypergradient)에 따라 업데이트합니다. 초기울기 계산에는 역 헤세 행렬 벡터 곱이 필요하며, 이 과정은 수치적으로 불안정할 수 있습니다. 따라서 본 논문에서는 Nystrom 방법을 사용하여 초기울기를 계산하고 BLO의 중첩 구조를 고려하기 위해 중첩을 사용하는 새로운 알고리즘인 Bilevel Policy Optimization with Nystrom Hypergradients (BLPO)를 제안합니다. 이론적으로, 비평가의 목적 함수가 선형 매개변수화된다는 가정하에 BLPO가 다항 시간 내에 높은 확률로 국소적 강 Stackelberg 평형(필요 조건을 만족하는 점)에 수렴함을 증명합니다. 실험적으로, 다양한 이산 및 연속 제어 작업에서 BLPO가 PPO와 동등하거나 더 나은 성능을 보임을 보여줍니다.
