본 논문은 생성 AI 정렬 및 관련 문제 연구를 위한 강력한 수학적 프레임워크인 이중 레벨 강화 학습(BRL)에 대한 첫 번째 표본 복잡도 결과를 제시합니다. 기존의 여러 알고리즘 프레임워크가 제안되었지만, 특히 표본 복잡도와 관련된 핵심 이론적 기반은 미개척 분야였습니다. 이 논문은 BRL에 대한 표본 복잡도 한계를 $\epsilon^{-4}$ 로 달성하여 이론과 실제 간의 격차를 해소하고 더 효율적인 알고리즘 개발을 위한 지침을 제공합니다. 또한, 이중 레벨 최적화에서의 하이퍼기울기 추정과 관련된 계산상의 어려움을 해결하기 위해 비용이 많이 드는 하이퍼기울기 계산에 의존하지 않는 1차 헤시안 없는 알고리즘을 개발했습니다. 행렬 없는 기법과 제약 최적화 방법을 활용하여 확장성과 실용성을 보장합니다. 이러한 결과는 AI 정렬 및 이중 레벨 최적화에 의존하는 다른 분야에서 개선된 방법을 위한 길을 열어줍니다.
