본 논문은 생성 모델 정렬을 위한 강력한 프레임워크로 떠오른 이중 강화 학습(BRL)의 이론적 기반, 특히 표본 복잡도 경계에 대한 연구를 수행했습니다. 연속적인 상태-행동 공간에서 $\mathcal{O}(\epsilon^{-3})$의 표본 복잡도 경계를 최초로 제시합니다. 기존의 MDP 분석 기법은 BRL의 중첩 구조와 비볼록 하위 수준 문제로 인해 BRL에 적용되지 않습니다. Polyak-Łojasiewicz (PL) 조건과 MDP 구조를 활용하여 폐쇄형 그래디언트를 얻고, 엄격한 표본 복잡도 분석을 수행했습니다. 비볼록 하위 수준 문제를 갖는 일반적인 이중 수준 최적화 설정으로 분석을 확장하여, 기존의 $\mathcal{O}(\epsilon^{-6})$ 경계보다 개선된 최첨단 $\mathcal{O}(\epsilon^{-3})$의 표본 복잡도 결과를 얻었습니다. 또한 대규모 문제에 적합한 완전한 1차, 헤시안 없는 알고리즘을 제안하여 하이퍼 그래디언트 추정의 계산 병목 현상을 해결했습니다.
