# The Adaptive Arms Race: Redefining Robustness in AI Security

### 저자

Ilias Tsingenopoulos, Vera Rimmer, Davy Preuveneers, Fabio Pierazzi, Lorenzo Cavallaro, Wouter Joosen

### 개요

본 논문은 실세계 AI 기반 시스템의 의사결정 기반 공격에 대한 취약성을 다룹니다. 기존의 강건성 평가는 방어 시스템에 대한 완전한 지식을 활용하는 적응형 공격에 의존하지만, 이는 실제 상황을 완벽히 반영하지 못합니다.  본 연구는 공격과 방어 모두에 적응성 개념을 확장하여 상호 작용을 통한 상호 학습의 이점을 보여줍니다.  경쟁 게임으로 구성된 블랙박스 공격 및 방어를 적응적으로 최적화하기 위한 프레임워크를 제시합니다.  강건성을 신뢰성 있게 평가하기 위해 현실적이고 최악의 경우 공격에 대한 평가가 필수적입니다. 따라서 강화학습(RL)을 사용하여 공격 및 회피 전략을 향상시키고, 방어에도 동일한 원리를 적용하여 개별적으로 그리고 다중 에이전트 관점에서 공동으로 평가합니다.  시스템 응답을 동적으로 제어하는 능동적 방어가 의사결정 기반 공격에 대한 모델 강화에 필수적인 보완책임을 밝히고, 이러한 방어는 적응형 공격으로 회피될 수 있으며, 이는 방어 또한 적응형이어야 함을 시사합니다.  광범위한 이론적 및 실험적 조사를 통해 적응형 적대자는 블랙박스 AI 기반 시스템에 심각한 위협이 되며,  이로 인해 군비 경쟁이 재점화됨을 확인합니다.  본 연구의 접근 방식은 최첨단 블랙박스 공격 및 방어를 능가하며, 실제 배포된 ML 기반 시스템의 강건성에 대한 효과적인 통찰력을 제공합니다.

### 시사점, 한계점

- **시사점:**

    - 적응형 공격과 방어의 상호 작용을 통한 상호 학습의 중요성을 강조합니다.

    - 능동적 방어가 모델 강화에 필수적인 보완책임을 보여줍니다.

    - 적응형 적대자가 블랙박스 AI 시스템에 심각한 위협이 됨을 확인합니다.

    - 제시된 프레임워크가 최첨단 블랙박스 공격 및 방어 성능을 능가합니다.

    - 실제 배포된 ML 기반 시스템의 강건성에 대한 효과적인 통찰력을 제공합니다.

- **한계점:**

    - 실제 세계의 모든 공격 유형을 완벽하게 포괄하지 못할 수 있습니다.

    - 제안된 프레임워크의 적용 가능성은 특정 시스템 및 공격 유형에 따라 달라질 수 있습니다.

    - 강화학습(RL) 기반 접근 방식의 계산 비용이 클 수 있습니다.

    - 방어 메커니즘의 일반화 성능에 대한 추가적인 연구가 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2312.13435)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).