본 논문은 강력한 알고리즘 클래스인 확률적 근사법을 연구하며, 특히 축소 연산자가 아닌 비확장 연산자를 사용하는 경우에 초점을 맞춘다. 평균 보상 설정과 같은 중요한 강화 학습 환경에 적용 가능하도록 Markovian 노이즈를 가진 비확장 확률적 근사법에 대한 점근적 및 유한 샘플 분석을 제공한다. 분석의 핵심은 Poisson 방정식을 통해 얻은 노이즈 항의 새로운 경계이다. 이를 통해 고전적인 표 형식 평균 보상 시간차 학습이 샘플 경로에 의존하는 고정점으로 수렴함을 최초로 증명한다.
