본 논문은 심층 강화 학습(DRL) 기반 로봇 제어의 현실 세계 적용에 있어 환경적 변화에 대한 민감도 문제를 해결하기 위한 연구를 제시한다. 기존의 화이트박스 적대적 공격 기법들이 국소적 기울기 정보에 의존하고 모든 상태에 일정한 변화를 적용하는 한계를 극복하고자, 시간적 역동성과 상태별 취약성을 고려한 새로운 방법을 제안한다. 이를 위해, 먼저 적대적 피해자-역동성 마르코프 의사결정 과정(AVD-MDP)을 정립하여 성공적인 공격에 필요충분조건을 이론적으로 분석한다. 이를 바탕으로, 선택적 상태 인식 강화 적대적 공격 방법(STAR)을 제안하여 교란의 은밀성과 상태 방문 분산을 최적화한다. STAR는 소프트 마스크 기반 상태 타겟팅 메커니즘을 사용하여 불필요한 교란을 최소화하고, 정보이론적 최적화 목표를 통합하여 교란, 환경 상태 및 피해자 행동 간의 상호 정보를 극대화함으로써 피해자 에이전트를 최대 수익 감소를 위한 취약한 상태로 유도한다. 광범위한 실험을 통해 STAR가 최첨단 기준 모델보다 우수한 성능을 보임을 입증한다.
시사점, 한계점
•
시사점:
◦
DRL 기반 로봇 제어의 안전성 및 견고성 향상에 기여할 수 있는 새로운 적대적 공격 기법 제시.
◦
시간적 역동성과 상태별 취약성을 고려한, 보다 현실적인 적대적 공격 평가 방법 제시.
◦
소프트 마스크 기반 상태 타겟팅 및 정보이론적 최적화를 통한 공격 효율성 및 은밀성 향상.
◦
최첨단 기준 모델 대비 우수한 성능으로 DRL의 취약점 분석 및 방어 기술 발전에 기여.
•
한계점:
◦
제안된 방법의 효과는 화이트박스 공격 환경에 국한될 수 있음. 블랙박스 또는 그레이박스 환경에서의 일반화 가능성에 대한 추가 연구 필요.
◦
실제 로봇 시스템에 적용 시 발생할 수 있는 추가적인 문제점(예: 계산 비용, 센서 노이즈 등)에 대한 고려 필요.
◦
AVD-MDP 모델의 가정 및 단순화에 따른 현실과의 차이점에 대한 검토 필요.
◦
특정 로봇 시스템 및 환경에 특화된 결과일 수 있으므로, 다양한 시스템 및 환경에 대한 일반화 가능성 검증 필요.
