본 논문은 기존 강화학습 알고리즘이 주로 정적 환경을 가정하는 한계를 극복하기 위해, 외부 시간적 과정의 영향을 받는 마르코프 결정 과정(MDP)을 연구합니다. 외부 과정에 의한 변화가 특정 조건을 만족할 경우, 유한한 과거 이벤트의 기록만 고려하여 문제를 해결할 수 있음을 보입니다. 이를 위해, 환경의 현재 상태와 유한한 과거 외부 과정 이벤트 기록을 고려하는 정책 반복 알고리즘을 제안하고 이론적 분석을 수행합니다. 해당 알고리즘은 수렴이 보장되지 않지만, 근사 정책 및 가치 함수로 인한 오차에 따라 상태 공간의 특정 영역에서 정책 개선을 보장합니다. 또한, 유한한 과거 시간 이벤트 통합으로 인한 근사를 고려하는 최소 제곱 정책 평가 및 정책 개선 알고리즘의 샘플 복잡도를 제시합니다. 특정 조건을 만족하는 일반적인 이산 시간 과정에 적용 가능하며, 가우시안 마크를 가진 이산 시간 Hawkes 과정에 대한 추가 분석을 제공하고, 전통적인 제어 환경에서 정책 평가 및 배포를 위한 실험 결과를 제시합니다.
