계층적 강화 학습(RL)은 장기간에 걸쳐 효과적인 의사 결정을 가능하게 할 잠재력이 있습니다. 기존 접근 방식은 유망하지만 대규모 훈련의 이점을 아직 실현하지 못했습니다. 이 연구에서는 온라인 계층적 RL을 고처리량 환경으로 확장하는 데 있어 몇 가지 주요 과제를 식별하고 해결합니다. Scalable Option Learning (SOL)을 제안하며, 이는 기존 계층적 방식에 비해 ~35배 더 높은 처리량을 달성하는 매우 확장 가능한 계층적 RL 알고리즘입니다. NetHack라는 복잡한 게임에서 300억 프레임의 경험을 사용하여 계층적 에이전트를 훈련시켜 SOL의 성능과 확장성을 입증했으며, 이는 평면 에이전트를 훨씬 능가하고 긍정적인 확장 추세를 보여줍니다. 또한 MiniHack 및 Mujoco 환경에서 SOL을 검증하여 일반적인 적용 가능성을 보여줍니다.
