3D 환경에서 고차원 감각 입력을 사용하는 강화 학습(RL)의 두 가지 주요 과제인 메모리 소비 증가와 부분 관측 마르코프 결정 프로세스(POMDP)에서의 학습 복잡성을 해결하기 위해, 본 논문은 RGB 컬러 이미지에 대한 의미론적 분할을 활용하는 SS-only 및 RGB+SS의 두 가지 새로운 입력 표현을 제안한다. ViZDoom의 데스매치 환경에서 완벽한 분할 결과를 사용하여 실험을 진행했으며, SS-only는 메모리 버퍼의 메모리 소비를 최소 66.6%에서 최대 98.6%까지 줄였다. RGB+SS는 제공된 추가 의미론적 정보를 통해 RL 에이전트의 성능을 향상시켰다. 또한, RL 에이전트의 움직임 패턴을 시각화하고 데이터 수집의 적합성을 평가하기 위해 밀도 기반 히트맵핑을 탐구했다. 이전 접근 방식과의 비교를 통해 ViZDoom과 같은 3D 환경에서 의미론적 분할을 적용할 때 흔히 발생하는 문제점을 극복하는 방법을 제시한다.
