본 논문은 강화학습(Reinforcement Learning, RL)에서 샘플 비효율성 문제를 해결하기 위해 잠재력 기반 보상 형성(Potential-Based Reward Shaping, PBRS)을 사용하는 연구에 대해 다룬다. 적절한 잠재 함수 선택의 어려움과 계산상의 제한으로 인한 유한 지평선 사용의 편향 문제를 지적하며, 최적 값 함수를 잠재 함수로 선택하는 것이 성능 향상에 기여하는 이유에 대한 이론적 근거를 제시한다. 유한 지평선이 PBRS에 유발하는 편향을 분석하고, 추상화를 활용하여 최적 값 함수를 근사함으로써, 목표 지향적 내비게이션 작업과 세 개의 아케이드 학습 환경(ALE) 게임을 포함한 네 가지 환경에서 PBRS의 샘플 효율성과 성능 영향을 평가한다. 실험 결과, 간단한 완전 연결 네트워크로 CNN 기반 솔루션과 동일한 수준의 성능을 달성할 수 있음을 보여준다.
