본 논문은 위험 민감 강화 학습의 응용에 착안하여 할인된 보상 마르코프 의사 결정 과정(MDP)에서 평균-분산 최적화를 연구합니다. 특히, 정책 평가를 위한 선형 함수 근사(LFA)를 사용한 시간 차(TD) 학습 알고리즘을 분석합니다. 정규화 유무에 관계없이 평균 제곱 오차 의미에서, 그리고 꼬리 반복 평균을 사용하여 높은 확률로 유한 샘플 경계를 유도합니다. 이 경계는 초기 오차에 대해 지수적으로 감소하는 의존성을 보이고, t번의 반복 후 $O(1/t)$의 수렴 속도를 나타냅니다. 또한, 정규화된 TD 변형의 경우, 보편적인 단계 크기에 대해 경계가 성립합니다. 다음으로, LFA 비평가와 통합된 동시 섭동 확률적 근사(SPSA) 기반 행위자 업데이트를 통합하고, SPSA 기반 행위자-비평가 알고리즘의 반복 횟수 n에 대해 $O(n^{-1/4})$ 수렴 보장을 확립합니다. 이러한 결과는 분산을 위험 척도로 하는 강화 학습에서 위험 민감 행위자-비평가 방법에 대한 유한 샘플 이론적 보장을 확립합니다.
