본 논문은 고정된 도메인과 훈련 문제 집합(계획이 아님)이 주어졌을 때, 강화학습(Reinforcement Learning, RL)을 사용하여 시간적 계획의 성능을 향상시키는 휴리스틱 가이드를 합성하는 연구의 발전된 형태를 제시합니다. 기존 연구는 훈련 문제들 위에 구성된 특정 (잠재적으로 무한 상태의) MDP의 값 함수로부터 휴리스틱을 추출하는 방식을 사용했습니다. 본 논문에서는 RL 및 계획 단계 모두에서 기호적 휴리스틱이 제공하는 정보를 활용하는 데 초점을 맞춘 학습 및 계획 프레임워크를 제안합니다. 잠재적으로 무한한 MDP를 다루기 위해 필요한 에피소드의 잘림으로 인한 문제를 완화하기 위해 다양한 보상 체계를 공식화하고 기호적 휴리스틱을 사용합니다. 또한, 처음부터 전체 휴리스틱을 학습하는 대신 기존 기호적 휴리스틱의 잔차(휴리스틱 값의 "보정")를 학습하는 방법을 제안합니다. 마지막으로, 다중 큐 계획 접근 방식을 사용하여 학습된 휴리스틱과 기호적 휴리스틱을 결합하여 체계적인 탐색과 불완전한 학습 정보 간의 균형을 맞춥니다. 실험을 통해 모든 접근 방식을 비교하여 강점과 약점을 강조하고 이 계획 및 학습 체계의 최첨단 기술을 크게 발전시킵니다.
