본 논문은 사전 훈련된 정책을 온라인 강화 학습(RL)을 통해 성능을 향상시키는 방법을 제안합니다. 기존 온라인 RL 미세 조정 방법들은 안정성과 성능을 위해 오프라인 사전 훈련된 Q-함수를 계속해서 학습해야 하는데, 이는 오프라인 RL 방법의 보수성으로 인해 오프라인 데이터셋을 벗어난 상태-행동 쌍을 과소평가하기 때문에 온라인으로 전환 시 추가적인 탐색을 저해합니다. 또한, 이러한 요구사항은 모방 학습(IL) 사전 훈련과 같이 사전 훈련된 정책만 있고 사전 훈련된 Q-함수가 없는 시나리오에서는 적용성이 제한됩니다. 이러한 문제를 해결하기 위해 본 논문에서는 사전 훈련된 Q-함수에 의존하지 않고 오프라인 사전 훈련된 정책만을 사용하여 효율적인 온라인 RL 미세 조정 방법을 제안합니다. PORL(Policy-Only Reinforcement Learning Fine-Tuning)이라는 방법을 통해 온라인 단계에서 Q-함수를 처음부터 빠르게 초기화하여 해로운 비관론을 피합니다. 제안된 방법은 고급 오프라인-온라인 RL 알고리즘 및 사전 데이터 또는 정책을 활용하는 온라인 RL 접근 방식과 경쟁력 있는 성능을 달성할 뿐만 아니라, 행동 복제(BC) 정책을 직접 미세 조정하는 새로운 방법을 제시합니다.
