본 논문은 선형 MDP(Markov Decision Process)를 갖는 무한 지평선 평균 보상 강화 학습 문제를 다룹니다. 기존 연구는 할인된 설정으로 평균 보상 설정을 근사하고, 통계적 효율성 향상을 위해 값 함수의 범위를 제한하는 클리핑을 사용하는 값 반복 기반 알고리즘을 사용했습니다. 하지만 클리핑 절차는 전체 상태 공간에 대한 값 함수의 최솟값을 계산해야 하며, 선형 MDP 설정에서 상태 공간이 클 수도 있거나 무한할 수도 있기 때문에 이는 매우 어렵습니다. 본 논문에서는 알고리즘이 방문한 상태 집합에 대한 값 함수의 최솟값만 계산하면 되는 효율적인 클리핑 연산을 갖는 값 반복 방법을 제시합니다. 제시된 알고리즘은 기존 연구와 동일한 후회 상한선을 가지면서도 상태 공간의 크기와 무관한 계산 복잡도를 갖는 계산 효율성을 제공합니다.
