POPGym Arcade는 공유된 관찰 및 행동 공간을 가진 하드웨어 가속 기반 픽셀 환경들의 모음입니다. 각 환경은 완전 관측 가능 및 부분 관측 가능 변형을 포함하여 부분 관측 가능성에 대한 반사실적 연구를 가능하게 합니다. 본 논문은 또한 부분 관측 가능성 하에서 정책을 분석하기 위한 수학적 도구를 제시하며, 이를 통해 에이전트가 과거 정보를 어떻게 활용하여 의사 결정을 내리는지 밝힙니다. 분석 결과, 부분 관측 가능성을 통제하는 것이 중요하며, 장기 메모리를 가진 에이전트는 일반화에 어려움을 겪는 취약한 정책을 학습한다는 것을 보여줍니다. 마지막으로, 순환 정책은 오래되고 분포에서 벗어난 관찰값에 의해 "오염"될 수 있으며, 시뮬레이션-실제 전이, 모방 학습 및 오프라인 강화 학습에 영향을 미친다는 것을 보여줍니다.