본 논문은 선형 Q-학습의 $L^2$ 수렴 속도를 최초로 규명합니다. Meyn (2024)의 연구에서 선형 Q-학습 반복의 거의 확실한 유계성이 증명된 것을 바탕으로, 본 논문은 적응적 온도를 갖는 $\epsilon$-softmax 행동 정책 하에서 선형 Q-학습 반복의 $L^2$ 수렴 속도를 증명합니다. 벨만 완전성 가정이나 근적정성 가정, 알고리즘 수정 없이도 이를 달성하며, 마르코프 잡음을 갖는 확률적 근사에 대한 일반적인 결과를 활용합니다. 부수적으로, 가중 벨만 최적 작용소의 새로운 유사 수축 속성을 이용하여 $\epsilon$-softmax 행동 정책을 사용하는 표 형태 Q-학습의 $L^2$ 수렴 속도 또한 증명합니다.
