본 논문은 훈련 없이 적대적 패치 공격을 탐지하는 새로운 프레임워크인 VRAG(Visual Retrieval-Augmented Generation)을 제안합니다. VRAG은 Vision-Language Model(VLM)을 활용하여, 기존의 재훈련이나 미세 조정이 필요한 방어 방법과 달리, 지속적으로 확장되는 데이터베이스에서 시각적으로 유사한 패치 및 이미지를 검색하여 다양한 유형의 공격을 생성적으로 추론하고 탐지합니다. Qwen-VL-Plus, Qwen2.5-VL-72B, UI-TARS-72B-DPO 등 오픈소스 VLM과 Gemini-2.0 (폐쇄형 모델)을 사용하여 실험을 진행하였으며, 오픈소스 모델 중 UI-TARS-72B-DPO가 최대 95%의 정확도를 달성하여 새로운 최고 성능을 기록했습니다. Gemini-2.0은 98%의 정확도를 달성했지만 폐쇄형 모델입니다. VRAG은 최소한의 사람 개입으로 다양한 적대적 패치를 효과적으로 식별하여 진화하는 적대적 패치 공격에 대한 강력하고 실용적인 방어를 위한 길을 열었습니다.
