본 논문은 모델 기반 강화 학습(MBRL)에서 세계 모델의 학습을 개선하여 샘플 효율성을 높이는 새로운 방법을 제안합니다. 기존 MBRL 방법들은 주로 행위자(actor) 최적화에 집중했지만, 본 논문은 세계 모델의 정확도 향상과 수렴 시간 단축에 초점을 맞춥니다. 세계 모델이 단기 예측을 통해 고엔트로피 상태를 적극적으로 탐색하는 접근 방식을 제시하며, 기존 호기심 기반 방법의 한계를 극복합니다. 계층적 플래너를 통해 재계획 시점, 계획 수평선 길이, 보상과 엔트로피 간의 가중치를 동적으로 결정합니다. Dreamer 모델을 이용한 실험 결과, 기존 Dreamer보다 미니월드 미로를 50% 빠르게 완료하고, 정책 학습에 필요한 환경 단계 수를 40% 줄였습니다.
