GCHRL(Goal-conditioned Hierarchical Reinforcement Learning)과 그래프의 통합은 RL(Reinforcement Learning) 과제 구조를 효과적으로 표현할 수 있는 그래프로부터 중간 목표(subgoal)를 샘플링할 수 있다는 점에서 주목받고 있다. 그러나 기존 방식들은 도메인 지식에 의존하여 그래프를 구성하거나, 탐색 중 동적으로 그래프를 생성하지만 정보를 충분히 활용하지 못한다는 한계가 있다. 또한, 기존 GCHRL 방법들은 샘플 비효율성과 subgoal 표현력 부족의 문제에 직면해 있다. 본 논문에서는 새로운 상태를 평가하기 위해 그래프 인코더-디코더를 개발하여 이러한 문제들을 해결하고자 한다. 제안하는 방법인 G4RL(Graph-Guided sub-Goal representation Generation RL)은 주로 대칭적이고 가역적인 전환 환경에서 작동하는 모든 기존 GCHRL 방법에 통합될 수 있으며, 그래프 인코더-디코더는 탐색 중에 생성된 상태 그래프에서 훈련된 네트워크를 사용하여 효과적으로 구현될 수 있다. 실험 결과, 그래프 인코더-디코더로부터 높은 수준 및 낮은 수준의 내재적 보상을 활용하는 것이 최첨단 GCHRL 접근 방식의 성능을 향상시키는 것을 확인했다.
