본 논문은 강화학습(RL)의 학습 속도를 높이는 보상 성형(reward shaping) 연구의 일환으로, 이전 연구에서 제안된 적응적 잠재함수(APF)를 고차원 상태 표현에 적용하기 위해 인코더를 추가한 APF+(APF+)를 제안한다. 고차원의 아타리 게임의 픽셀 프레임을 저차원 임베딩으로 투영하는 상태 인코딩 방법으로, 배경과 이동하는 객체 모두를 인코딩할 수 있는 W-shaped network (W-Net)을 설계하여 사용한다. W-Net은 입력 상태를 나타내는 하나의 잠재 벡터와 입력 상태 표현의 편차를 나타내는 또 다른 잠재 벡터를 생성한다. W-Net을 APF에 통합하여 Dueling Deep Q-Network (DDQN)을 학습시킨 APF-WNet-DDQN을 제시하고, 아타리 게임에서의 효과를 실험적으로 보여준다. 기준 방법으로 기본 DDQN과, W-Net을 Spatiotemporal Deep Infomax (ST-DIM) 및 Atari Annotated RAM Interface (ARI)로 대체한 두 가지 APF-DDQN 방법과 비교 분석한다. 실험 결과, 20개의 아타리 게임 중 14개에서 DDQN, 13개에서 APF-STDIM-DDQN을 상당히 능가하며, 상세한 게임 내부 상태 정보의 임베딩을 사용하는 APF-ARI-DDQN과 비교했을 때도 비슷한 성능을 달성함을 보였다.
