본 논문은 Rainbow DQN에 6가지 향상된 기법들을 통합한 새로운 강화학습 알고리즘 "Beyond The Rainbow (BTR)"을 제시합니다. BTR은 Atari-60 게임 환경에서 human-normalized interquartile mean (IQM) 7.4를 달성하며 최첨단 성능을 보였습니다. Atari 게임뿐만 아니라 Super Mario Galaxy, Mario Kart, Mortal Kombat과 같은 복잡한 3D 게임에서도 최소한의 알고리즘 변경으로 성공적인 학습 결과를 보여줍니다. 고성능 데스크탑 PC를 사용하여 2억 프레임의 Atari 게임 데이터를 12시간 이내에 학습할 수 있도록 계산 효율성을 고려하여 설계되었습니다. 각 구성 요소에 대한 상세한 ablation study를 통해 성능 및 영향을 다양한 측정 지표를 사용하여 분석했습니다. 소스 코드는 공개되어 있습니다.