Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks

Created by
  • Haebom
Category
Empty

저자

Zongyuan Zhang, Tianyang Duan, Zheng Lin, Dong Huang, Zihan Fang, Zekai Sun, Ling Xiong, Hongbin Liang, Heming Cui, Yong Cui, Yue Gao

개요

본 논문은 강화학습 기반 로봇 제어의 현실 세계 적용에 있어 환경적 변화에 대한 취약성 문제를 해결하기 위해, 적응적 경사-마스크 강화 학습(AGMR) 공격 방법을 제안합니다. 기존의 백색 상자 적대적 공격 방법들은 시간적 동역학을 간과하고 모든 상태 차원을 무차별적으로 교란하여 장기적 보상에 대한 영향을 제한하는 반면, AGMR은 DRL과 경사 기반 소프트 마스킹 메커니즘을 결합하여 중요한 상태 차원을 동적으로 식별하고 적대적 정책을 최적화합니다. AGMR은 가장 영향력 있는 상태 특징에 선택적으로 교란을 할당하고, 훈련 중 탐색과 활용 간의 균형을 맞추기 위해 동적 조정 메커니즘을 통합합니다. 광범위한 실험을 통해 AGMR이 기존의 최첨단 적대적 공격 방법보다 피해자 에이전트의 성능 저하에 더 효과적이며, 적대적 방어 메커니즘을 통해 피해자 에이전트의 강건성을 향상시킨다는 것을 보여줍니다.

시사점, 한계점

•
시사점:
◦
기존 백색 상자 적대적 공격 방법의 한계를 극복하는 새로운 AGMR 공격 방법 제시
◦
시간적 동역학을 고려하여 더욱 효과적인 적대적 공격 가능
◦
중요 상태 차원에 선택적으로 교란을 가하여 공격 효율성 증대
◦
적대적 방어 메커니즘을 통한 강화학습 에이전트의 강건성 향상 가능성 제시
•
한계점:
◦
백색 상자 공격에 국한됨. 흑색 상자 환경에 대한 적용성 검증 필요
◦
특정 환경 및 에이전트에 대한 실험 결과이므로 일반화 가능성에 대한 추가 연구 필요
◦
동적 조정 메커니즘의 최적화 파라미터 설정에 대한 추가 연구 필요
◦
계산 비용이 높을 가능성 존재
👍
Made with Slashpage