본 논문은 오프라인 데이터를 이용한 사전 학습과 강화 학습을 이용한 온라인 미세 조정을 결합하여 제어 정책을 학습하는 새로운 방법을 제시합니다. 기존의 온라인 학습 초기 단계에서 오프라인 정책의 유용한 행동이 손상될 수 있다는 문제점을 해결하기 위해, 오프라인으로 학습된 정책을 정책 집합의 하나의 후보 정책으로 사용하고, 추가적인 학습을 담당할 또 다른 정책을 추가하여 정책 집합을 확장하는 기법을 제안합니다. 두 정책은 환경과 상호 작용하는 방식으로 적응적으로 구성되며, 오프라인 정책은 온라인 학습 중에도 완전히 유지됩니다. 이를 통해 오프라인 정책의 유용한 행동을 보존하면서 자연스럽게 탐험에 참여할 수 있도록 하고, 새롭게 추가된 정책을 통해 새로운 유용한 행동을 학습할 수 있도록 합니다. 여러 작업에 대한 실험 결과, 제안된 방법의 효과를 보여줍니다.
