본 논문은 일반적인 함수 근사를 사용하는 연속 시간 강화 학습(CTRL)에 대한 최초의 샘플 복잡도 보장을 제시합니다. 모델 기반 CTRL 알고리즘을 제안하여 샘플 및 계산 효율성을 달성합니다. 낙관주의 기반 신뢰 구간을 활용하여, $N$개의 측정값을 사용하여 $\tilde{O}(\sqrt{d_{\mathcal{R}} + d_{\mathcal{F}}}N^{-1/2})$의 최적화되지 않은 격차로 거의 최적의 정책을 학습할 수 있음을 보여줍니다. 여기서 $d_{\mathcal{R}}$과 $d_{\mathcal{F}}$는 각각 보상 및 동적 함수의 분포적 회피 차원을 나타내며 강화 학습에서 일반적인 함수 근사의 복잡성을 포착합니다. 또한, 경쟁력 있는 샘플 효율성을 유지하면서 정책 업데이트와 롤아웃 수를 크게 줄이는 구조화된 정책 업데이트와 대체 측정 전략을 제시합니다. 연속 제어 작업과 확산 모델 미세 조정에 대한 실험을 통해 제안된 알고리즘을 뒷받침하여, 훨씬 적은 정책 업데이트와 롤아웃으로도 비슷한 성능을 보임을 보여줍니다.
