본 논문은 기존의 특정 이미지와 질문을 표적으로 하는 시각적 질문 응답(VQA)과 같은 다중 모달 작업에서의 적대적 공격과 달리, 질문과 무관한 시각적 공격(QAVA)을 제안합니다. QAVA는 특정 질문에 대한 공격 대상 이미지가 아닌, 미지의 질문에도 잘못된 응답을 생성하는 강력한 적대적 예시를 생성하는 것을 목표로 합니다. 기존의 특정 이미지와 질문에 초점을 맞춘 적대적 공격과 비교하여, QAVA는 질문을 모를 때 이미지에 대한 공격의 효과와 효율성을 크게 향상시키며, 알려진 질문에 대한 공격과 비슷한 성능을 달성합니다. 이는 실제 환경에서 LVLMs에 대한 시각적 적대적 공격의 범위를 넓히고, 특히 시각적 적대적 위협의 맥락에서 이전에 간과되었던 취약성을 드러냅니다. 소스 코드는 깃허브에서 공개됩니다.
