본 논문은 강화학습(RL)의 하이퍼파라미터 민감성 문제를 해결하기 위해 새로운 자동화된 강화학습(AutoRL) 방법인 적응형 Q-네트워크(AdaQN)를 제안합니다. 기존 AutoRL 방법들이 추가적인 샘플을 필요로 하는 것과 달리, AdaQN은 여러 Q-함수를 학습하여, 가장 작은 근사 오차를 가진 Q-함수를 공유 목표로 사용하여 온라인으로 하이퍼파라미터를 업데이트합니다. 이를 통해 추가적인 샘플 없이 RL의 비정상성을 고려하며, 다양한 하이퍼파라미터를 동시에 처리하고 임의의 비평가 기반 RL 알고리즘과 직교하는 선택 방식을 제공합니다. MuJoCo 제어 문제와 Atari 2600 게임에서의 실험 결과, AdaQN은 샘플 효율성, 전반적인 성능, 확률적 요소에 대한 강건성, 그리고 훈련 안정성 면에서 이점을 보여줍니다.
