Robust Deterministic Policy Gradient for Disturbance Attenuation and Its Application to Quadrotor Control
Created by
- Haebom
Category
Empty
저자
Taeho Lee, Donghwan Lee
개요
본 논문은 시스템 모델의 불확실성과 외부 잡음으로 인해 최적 제어 정책을 식별하는 데 어려움을 겪는 실제 제어 시스템 문제를 해결하기 위해 강화 학습 알고리즘인 Robust Deterministic Policy Gradient (RDPG)를 제안합니다. RDPG는 H∞ 제어 문제를 두 플레이어 제로섬 동적 게임으로 공식화하여, 한 플레이어(사용자)는 비용을 최소화하고 다른 플레이어(적대자)는 비용을 최대화하려고 시도합니다. 이를 위해 결정적 정책 경사(DPG)와 심층 강화 학습을 사용하여 잡음 감쇠 효과가 뛰어난 강건한 제어 정책을 학습합니다. 특히, 실제 구현을 위해 심층 신경망 아키텍처를 사용하고 TD3(twin-delayed deep deterministic policy gradient)의 기법을 통합하여 안정성과 학습 효율을 높인 Robust Deep Deterministic Policy Gradient (RDDPG) 알고리즘을 제시합니다. 제안된 알고리즘의 성능을 평가하기 위해 잡음이 많은 환경에서 미리 정의된 경로를 따라가는 무인 항공기(UAV)에 적용하였으며, 실험 결과 제안된 방법이 다른 제어 방법보다 잡음에 대한 강건성이 뛰어나 심각한 잡음 조건에서도 이동 목표물을 정밀하게 실시간으로 추적할 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
H∞ 제어 문제를 강화 학습으로 효과적으로 해결하는 새로운 방법 제시.
◦
잡음에 강건한 강화 학습 기반 제어 알고리즘 (RDDPG) 개발 및 실제 UAV 시스템에 성공적으로 적용.
◦
심각한 잡음 환경에서도 정밀한 실시간 목표 추적 가능성을 실험적으로 입증.
•
한계점:
◦
제안된 알고리즘의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 유형의 잡음 및 시스템에 대한 범용성 검증 필요.
◦
알고리즘의 계산 복잡도 및 실시간 성능에 대한 추가 분석 필요.
◦
UAV 이외의 다른 시스템에 대한 적용성 연구 필요.
