# QAVA: Query-Agnostic Visual Attack to Large Vision-Language Models

### 저자

Yudong Zhang, Ruobing Xie, Jiansheng Chen, Xingwu Sun, Zhanhui Kang, Yu Wang

### 개요

본 논문은 기존의 특정 이미지와 질문을 표적으로 하는 시각적 질문 응답(VQA)과 같은 다중 모달 작업에서의 적대적 공격과 달리, 질문과 무관한 시각적 공격(QAVA)을 제안합니다. QAVA는 특정 질문에 대한 공격 대상 이미지가 아닌,  미지의 질문에도 잘못된 응답을 생성하는 강력한 적대적 예시를 생성하는 것을 목표로 합니다. 기존의 특정 이미지와 질문에 초점을 맞춘 적대적 공격과 비교하여, QAVA는 질문을 모를 때 이미지에 대한 공격의 효과와 효율성을 크게 향상시키며, 알려진 질문에 대한 공격과 비슷한 성능을 달성합니다.  이는 실제 환경에서 LVLMs에 대한 시각적 적대적 공격의 범위를 넓히고, 특히 시각적 적대적 위협의 맥락에서 이전에 간과되었던 취약성을 드러냅니다.  소스 코드는 깃허브에서 공개됩니다.

### 시사점, 한계점

- **시사점:**

    - 미지의 질문에도 적용 가능한 강력한 적대적 공격 기법(QAVA) 제시

    - 기존 방식보다 효과적이고 효율적인 이미지 기반 적대적 공격 가능성 제시

    - 실제 환경에서의 LVLMs 취약성에 대한 새로운 관점 제시

    - LVLMs의 안전성 및 견고성 향상 연구에 기여

- **한계점:**

    - QAVA의 일반화 성능에 대한 추가적인 실험 필요

    - 다양한 LVLMs 및 다중 모달 작업에 대한 QAVA의 적용성 검증 필요

    - QAVA에 대한 방어 기법 개발 및 연구 필요

[PDF 보기](https://arxiv.org/pdf/2504.11038)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).