본 논문은 모델 기반 강화 학습(MBRL)에서 세계 모델의 학습을 개선하여 샘플 효율성을 높이는 새로운 방법을 제안합니다. 기존 MBRL 방법들은 주로 행위자(actor) 최적화에 집중했지만, 본 논문은 세계 모델의 정확도 향상과 수렴 시간 단축에 초점을 맞춥니다. 세계 모델이 단기간의 잠재 예측을 사용하여 고엔트로피 상태를 적극적으로 탐색하는 방법을 제시하며, 이는 기존의 호기심 기반 방법보다 원리적으로 우수합니다. 또한, 다단계 계획을 매 단계마다 생성하는 기존 MPC 기반 방법의 한계를 극복하기 위해, 계획 재수립 시점, 계획 수평선 길이, 보상과 엔트로피 간의 가중치를 동적으로 결정하는 계층적 계획기를 제시합니다. Dreamer를 사용한 실험 결과, 제안된 방법이 기존 Dreamer보다 미니월드 미로를 50% 빠르게 완료하고, 정책 학습에 필요한 환경 단계 수를 40% 줄였습니다.
