본 논문은 복잡하고 연속적인 다중 작업 환경에서의 의사결정 문제를 해결하기 위한 계층적 강화 학습 접근 방식을 제안합니다. 정확한 환경 역학 모델을 얻기 어렵고 시행착오 학습이 비효율적인 경우, 전문가가 제공하는 고충실도 추상화를 활용하여 작업의 고차원 구조와 사용자 선호도를 포착합니다. 기존의 계층적 접근 방식은 이산적인 설정에 국한되고 작업 간 일반화가 어려운 한계를 갖지만, 본 연구는 전문가가 지정한 추상화를 통해 동적으로 계획하여 하위 목표를 생성하고 목표 조건 정책을 학습하는 방법을 제시합니다. 희소 보상 하에서의 학습 문제를 극복하기 위해 추상 모델에서 최적 상태 값을 기반으로 보상을 형성하고, 이를 통해 표본 효율성을 높이고 제로샷 일반화를 가능하게 합니다. 연속 제어 환경에서의 실험 결과는 제안된 방법이 기존 방법보다 표본 효율성, 작업 완료율, 복잡한 작업에 대한 확장성, 새로운 시나리오에 대한 일반화 측면에서 우수함을 보여줍니다.
