# X-Transfer Attacks: Towards Super Transferable Adversarial Attacks on CLIP

### 저자

Hanxun Huang, Sarah Erfani, Yige Li, Xingjun Ma, James Bailey

### 개요

CLIP 모델의 다양한 downstream task 적용 및 대규모 vision-language model (VLM) 통합 증가에 따라, CLIP 모델의 적대적 perturbation 취약성이 중요한 문제로 부각되었습니다. 본 연구는 다양한 CLIP encoder와 downstream VLM을 여러 샘플, task, domain에 걸쳐 속일 수 있는 Universal Adversarial Perturbation (UAP)을 생성하는 새로운 공격 기법인 **X-Transfer**를 제시합니다. X-Transfer는 **super transferability**라 불리는 특징을 가지는데, 이는 단일 perturbation이 cross-data, cross-domain, cross-model, cross-task 적대적 전이성을 동시에 달성하는 것을 의미합니다. 이는 본 연구의 핵심 혁신인 **surrogate scaling**을 통해 달성됩니다. 기존의 계산적으로 비용이 많이 드는 고정된 surrogate 모델에 의존하는 방법과 달리, X-Transfer는 큰 search space에서 적합한 surrogate의 작은 subset을 동적으로 선택하는 효율적인 surrogate scaling 전략을 사용합니다. 광범위한 평가를 통해 X-Transfer가 기존 최첨단 UAP 방법보다 성능이 훨씬 뛰어나며, CLIP 모델에 대한 적대적 전이성에 대한 새로운 기준을 제시함을 보여줍니다. 코드는 GitHub 저장소에서 공개적으로 이용 가능합니다.

### 시사점, 한계점

- **시사점:**

    - CLIP 모델의 보편적인 적대적 취약성을 효과적으로 공격하는 새로운 방법인 X-Transfer 제시.

    - 기존 방법보다 뛰어난 성능을 보이는 super transferability를 달성.

    - 효율적인 surrogate scaling 전략을 통해 계산 비용을 절감.

    - CLIP 모델의 적대적 공격에 대한 새로운 기준 제시.

    - 공개된 코드를 통해 재현성 및 추가 연구 가능.

- **한계점:**

    - X-Transfer의 효과가 특정 CLIP 모델이나 downstream task에 편향될 가능성 존재.

    - surrogate scaling 전략의 최적화 여지 존재.

    - 실제 환경에서의 robustness에 대한 추가적인 연구 필요.

    - 다양한 적대적 방어 기법에 대한 X-Transfer의 효과성 검증 필요.

[PDF 보기](https://arxiv.org/pdf/2505.05528)

![https://i.imgur.com/ESCTzml.jpeg](https://i.imgur.com/ESCTzml.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).