본 논문은 시스템 모델의 불확실성과 외부 교란으로 인해 최적 제어 정책을 식별하는 데 어려움을 겪는 실제 제어 시스템 문제를 해결하기 위해 강화 학습 알고리즘인 Robust Deterministic Policy Gradient (RDPG)를 제안합니다. RDPG는 H∞ 제어 문제를 2인 제로섬 동적 게임으로 공식화하여, 한 플레이어(사용자)는 비용을 최소화하고 다른 플레이어(적대자)는 비용을 최대화하는 구조를 갖습니다. 본 논문에서는 결정적 정책 경사(DPG)와 심층 강화 학습 기법을 사용하여 효과적인 교란 감쇠를 갖는 강인한 제어 정책을 학습합니다. 실제 구현을 위해 심층 신경망 아키텍처를 사용하고 Twin-Delayed Deep Deterministic Policy Gradient (TD3)의 기법을 통합한 Robust Deep Deterministic Policy Gradient (RDDPG) 알고리즘을 제시합니다. 교란이 많은 환경에서 미리 정의된 경로를 따라가는 무인 항공기(UAV)에 알고리즘을 적용하여 성능을 평가하였으며, 실험 결과 제안된 방법이 다른 제어 방식보다 뛰어난 강인성을 보이며, 심한 교란 상황에서도 이동 목표물을 정확하게 실시간 추적할 수 있음을 보여줍니다.
