본 논문은 실시간 강화학습(RL)에서 발생하는 두 가지 주요 문제, 즉 하드웨어 제약으로 인한 고정된 행동 빈도와 환경 변화로 인한 관측 지연 문제를 해결하기 위한 연구를 다룹니다. 파이프라이닝을 통해 행동 빈도 문제를 부분적으로 해결할 수 있지만, 관측 지연 문제는 N-레이어 피드포워드 네트워크에서 $\tau N$ 만큼의 지연을 야기합니다. 이를 해결하기 위해, 본 논문은 시간적 스킵 연결(temporal skip connections)과 과거 정보를 추가한 관측값(history-augmented observations)을 활용하는 방법을 제시합니다. 다양한 아키텍처를 평가한 결과, 시간적 스킵 연결을 포함하는 아키텍처가 다양한 뉴런 실행 시간, 강화학습 알고리즘, 그리고 Mujoco 작업과 MinAtar 게임 환경에서 강력한 성능을 보임을 확인했습니다. 또한, 병렬 뉴런 계산을 통해 표준 하드웨어에서 추론 속도를 6%~350% 향상시킬 수 있음을 보여줍니다.
