본 논문은 자율 주행과 같이 높은 정확도와 안전성이 요구되는 응용 분야에서 인간 전문 지식과 기계 학습을 통합하는 Interactive Double Deep Q-network (iDDQN) 방법을 제시합니다. iDDQN은 강화 학습(RL) 훈련 과정에 인간의 통찰력을 직접 통합하는 Human-in-the-Loop (HITL) 접근 방식으로, 모델 성능을 향상시킵니다. Q-값 업데이트 방정식을 수정하여 인간과 에이전트의 행동을 통합함으로써 정책 개발을 위한 협업적 접근 방식을 구축합니다. 또한, 인간의 개입이 없었던 것처럼 에이전트의 궤적을 시뮬레이션하는 오프라인 평가 프레임워크를 제시하여 인간 개입의 효과를 평가합니다. 시뮬레이션된 자율 주행 시나리오에서의 실험 결과는 iDDQN이 Behavioral Cloning (BC), HG-DAgger, Deep Q-Learning from Demonstrations (DQfD) 및 일반적인 DRL을 포함한 기존 방법보다 성능 향상 및 적응성 측면에서 인간 전문 지식을 활용하는 데 더 우수함을 보여줍니다.
