강화 학습(RL)으로 복잡한 정책을 학습하는 것은 불안정성과 느린 수렴으로 어려움을 겪으며, 이는 보상 엔지니어링의 어려움으로 더욱 악화됩니다. 전문가 시연으로부터의 모방 학습(IL)은 이러한 보상 의존성을 우회합니다. 그러나 GAIL(Generative Adversarial Imitation Learning)과 같은 최첨단 IL 방법은 심각한 샘플 비효율성을 보입니다. 본 연구에서는 오프-정책 학습을 통합하여 샘플 효율성을 향상시키는 적대적 모방 학습 알고리즘을 제안합니다. 오프-정책 프레임워크와 보상 함수 추론 없이 이중 Q 네트워크 기반 안정화 및 가치 학습과 같은 보조 기술을 결합하여, 전문가 행동을 견고하게 일치시키는 데 필요한 샘플 수를 줄이는 것을 보여줍니다.
