본 논문은 오프라인 강화학습에서 고정된 목표 정책에 따라 행동할 때 각 상태에서 예상되는 할인된 수익을 추정하는 오프라인 값 함수 학습의 안정성 문제를 다룹니다. 값 함수 학습의 안정성은 상태-행동 쌍의 표현에 크게 의존하며, 잘못 학습된 표현은 값 함수 학습의 불안정성 또는 발산으로 이어질 수 있습니다. 따라서 상태-행동 표현을 명시적으로 형성하여 값 함수 학습을 안정화하는 것이 중요합니다. 본 논문에서는 비슷한 즉각적인 보상을 가지고 목표 정책 하에서 비슷한 다음 상태-행동 쌍으로 이어지는 상태-행동 쌍이 비슷한 표현을 갖도록 커널을 사용하는 비슷함 기반 알고리즘인 kernel representations for offline policy evaluation (KROPE)를 제안합니다. KROPE가 안정적인 표현을 학습하고 기준선보다 낮은 값 오차를 달성함을 보여줍니다. 이 분석은 비슷함 기반 방법의 안정성 특성에 대한 새로운 이론적 통찰력을 제공하며, 실무자들이 이러한 방법을 사용하여 강화학습 에이전트의 오프라인 평가의 안정성과 정확성을 향상시킬 수 있음을 시사합니다.
