본 논문은 심층 강화학습(Deep Reinforcement Learning, DRL)에서의 하이퍼파라미터 최적화(Hyperparameter Optimization, HPO) 문제를 해결하기 위해 새로운 프레임워크인 ULTHO를 제안합니다. 기존의 HPO 기법들은 DRL의 비정상성과 높은 계산 비용으로 인해 효율적이지 못한 반면, ULTHO는 단일 실행 내에서 빠른 HPO를 가능하게 하는 초경량 프레임워크입니다. ULTHO는 HPO 과정을 군집화된 팔을 가진 다중 팔 밴딧(Multi-armed Bandit with Clustered arms, MABC) 문제로 공식화하고, 장기적인 수익 최적화와 직접적으로 연결합니다. 또한, 하이퍼파라미터를 효율적으로 필터링하기 위한 정량적이고 통계적인 관점을 제공합니다. ALE, Procgen, MiniGrid, PyBullet 등의 벤치마크에서 ULTHO의 우수한 성능을 실험적으로 검증합니다.
