본 논문은 이중 강화 학습(BRL)의 표본 복잡도 한계에 대한 최초의 분석을 제시합니다. 연속적인 상태-행동 공간에서 $\mathcal{O}(\epsilon^{-3})$의 속도를 확립하며, 중첩 구조와 비볼록 하위 수준 문제로 인해 기존 MDP 분석 기법을 적용할 수 없다는 어려움을 Polyak-Łojasiewicz (PL) 조건과 MDP 구조를 활용하여 극복합니다. 폐쇄형 그래디언트를 얻어 엄밀한 표본 복잡도 분석을 가능하게 하였고, 비볼록 하위 수준을 갖는 일반적인 이중 수준 최적화 설정으로 확장하여 기존 $\mathcal{O}(\epsilon^{-6})$보다 향상된 $\mathcal{O}(\epsilon^{-3})$의 최첨단 표본 복잡도 결과를 달성합니다. 또한, 대규모 문제에 적합한 완전한 1차, Hessian-free 알고리즘을 제안하여 하이퍼그래디언트 추정의 계산 병목 현상을 해결합니다.
