본 논문은 대규모 비전-언어 모델(LVLMs)의 취약점을 효율적으로 찾기 위한 새로운 의미론적 진화 프레임워크를 제안합니다. 기존의 적대적 공격은 모델의 실패만을 야기하지만, 모델 실패의 원인이 되는 입력의 특정 내용을 설명하지 못하는 한계가 있습니다. 본 연구는 LLM과 T2I 모델을 통합하여, 무작위로 초기화된 의미 개념을 LLM 기반 교차 및 돌연변이 연산을 통해 이미지 설명으로 변환하고, T2I 모델을 이용하여 LVLMs에 대한 시각적 입력으로 변환합니다. LVLMs의 과제별 성능을 적합도 점수로 정량화하여, LVLMs를 오류에 빠뜨리는 개념을 탐색하도록 LLM을 유도합니다. 7개의 주요 LVLMs와 2개의 다중 모드 작업에 대한 광범위한 실험을 통해 제안된 방법의 효과를 입증하고, LVLMs의 민감한 의미에 대한 흥미로운 결과를 제시합니다.
