POPGym Arcade는 공유된 관찰 및 행동 공간을 가진 하드웨어 가속 기반 픽셀 환경 모음입니다. 각 환경은 완전 관찰 가능 및 부분 관찰 가능 변형을 포함하여 부분 관찰 가능성에 대한 반사실적 연구를 가능하게 합니다. 본 논문은 또한 부분 관찰 가능성 하에서 정책을 분석하기 위한 수학적 도구를 제시하며, 이를 통해 에이전트가 과거 정보를 어떻게 기억하여 의사 결정을 내리는지 밝힙니다. 분석 결과, 부분 관찰 가능성을 통제하는 것이 중요하며, 장기 기억을 가진 에이전트는 일반화에 어려움을 겪는 취약한 정책을 학습한다는 사실을 보여줍니다. 마지막으로, 순환 정책은 오래되고 분포 외 관찰에 의해 "오염"될 수 있으며, 시뮬레이션-실제 전이, 모방 학습 및 오프라인 강화 학습에 영향을 미친다는 것을 보여줍니다.
