본 논문은 "빠른-느린" 구조를 가진 무한 지평 마르코프 의사결정 과정(MDP)을 연구합니다. 이 구조는 일부 상태 변수가 빠르게 진화하는 반면(빠른 상태), 다른 변수는 더 느리게 변화하는(느린 상태) 경우에 일반적으로 발생합니다. 의사결정이 장기간에 걸쳐 고빈도로 이루어져야 하고, 느리게 변화하는 정보가 여전히 최적 행동을 결정하는 데 중요한 역할을 하는 경우가 그 예입니다. 예로는 느리게 변화하는 수요 지표를 고려한 재고 관리나 점진적으로 변화하는 소비자 행동을 고려한 동적 가격 책정이 있습니다. 자연적인 의사결정 빈도로 문제를 모델링하면 할인율이 1에 가까운 MDP가 되어 계산적으로 어려워집니다. 본 논문은 하위 수준 계획 단계에서 느린 상태를 "동결"하고 이후 더 느린 시간 척도에서 진화하는 보조 상위 수준 MDP에 대한 값 반복을 적용하는 새로운 근사 전략을 제안합니다. 짧은 시간 동안 상태를 동결하면 하위 수준 문제를 더 쉽게 해결할 수 있으며, 더 느린 상위 수준 시간 척도는 더 유리한 할인율을 허용합니다. 이론적으로는 동결 상태 접근 방식으로 인한 후회를 분석하여 후회와 계산 비용 간의 절충 방법에 대한 간단한 통찰력을 얻습니다. 실험적으로는 고정 주문 비용이 있는 재고 관리, 공간 작업이 있는 그리드 월드 문제, 참조 가격 효과가 있는 동적 가격 책정의 세 가지 영역에서 새로운 동결 상태 방법을 벤치마킹합니다. 새로운 방법이 훨씬 적은 계산으로 고품질 정책을 생성한다는 것을 보여주고, 느린 상태를 단순히 생략하는 것이 종종 나쁜 휴리스틱이라는 것을 보여줍니다.
