본 논문은 분포 강화 학습(Distributional Reinforcement Learning)의 효과에 대한 이론적 이해를 심화시키고자, 유한 에피소드 마르코프 결정 과정(MDP) 설정에서 일반적인 값 함수 근사를 사용하는 분포 강화 학습의 후회(regret) 분석을 제시합니다. 무한 차원 분포의 다루기 어려운 요소를 고려하여, '벨만 불편향성(Bellman unbiasedness)'이라는 핵심 개념을 도입하여 온라인 방식으로 정확하게 학습 가능하고 효율적인 분포 업데이트를 보장합니다. 또한, 무한 차원 수익 분포를 나타내는 모든 유형의 통계적 함수 중에서 모멘트 함수만이 통계 정보를 정확하게 포착할 수 있음을 이론적으로 증명합니다. 마지막으로, $\tilde{O}(d_E H^{\frac{3}{2}}\sqrt{K})$의 엄격한 후회 경계를 달성하는 효율적인 알고리즘인 $\texttt{SF-LSVI}$를 제안합니다. 여기서 $H$는 지평선, $K$는 에피소드 수, $d_E$는 함수 클래스의 회피 차원입니다.
