본 논문은 오프라인 강화학습(RL) 알고리즘의 확장성을 연구합니다. 기존 오프라인 RL 알고리즘들이 충분한 데이터, 연산능력, 모델 용량이 주어졌을 때 복잡성에 관계없이 모든 문제를 해결할 수 있는지, 그리고 어떻게 그 약속을 지키는지 조사합니다. 기존보다 최대 1000배 큰 데이터셋을 사용하여 다양하고 어려운, 이전에 해결되지 않은 과제들에서 실험을 진행했습니다. 그 결과 많은 기존 알고리즘들이 최대 성능에 도달하지 못하고 확장성이 떨어지는 것을 확인했습니다. 이러한 현상의 주요 원인으로 horizon(시간 지평선)을 제시하고, 여러 분석 실험을 통해 긴 horizon이 오프라인 RL 확장성에 근본적인 장벽이 됨을 실험적으로 증명합니다. 다양한 horizon 감소 기법들이 어려운 과제에서 확장성을 크게 향상시킨다는 것을 보이고, 이러한 통찰력을 바탕으로 horizon을 효과적으로 줄이는 최소한의 확장 가능한 방법인 SHARSA를 제안합니다. SHARSA는 평가된 방법들 중 가장 좋은 점근적 성능과 확장성을 보이며, horizon을 명시적으로 줄이는 것이 오프라인 RL의 확장성을 향상시킨다는 것을 보여줍니다.
