본 논문은 다중 모달 기반 모델에서 텍스트와 시각적 콘텐츠 간의 상호 작용을 악용하는 서체 공격(Typographic attacks)에 대한 연구를 다룬다. 기존의 작고 다양성이 부족한 데이터셋의 한계를 극복하고자, 다양한 객체 카테고리와 공격 단어를 포함하는 1,162개의 이미지로 구성된 대규모 실제 세계 서체 공격 이미지 데이터셋 SCAM을 제시한다. Vision-Language Models (VLMs)에 대한 광범위한 벤치마킹을 통해 서체 공격이 성능을 크게 저하시킨다는 것을 보여주고, 훈련 데이터와 모델 아키텍처가 이러한 공격에 대한 취약성에 영향을 미친다는 것을 밝혀낸다. 특히 최첨단 Large Vision-Language Models (LVLMs)에서도 시각 인코더의 선택으로 인해 서체 공격이 지속되지만, 더 큰 Large Language Models (LLMs) 백본은 취약성을 완화하는 데 도움이 된다는 것을 보여준다. 또한, 합성 공격이 실제 세계(수기) 공격과 매우 유사하다는 것을 증명하여 연구에서 합성 공격의 활용을 정당화한다. 마지막으로, 강력하고 신뢰할 수 있는 다중 모달 AI 시스템을 위한 향후 연구를 촉진하기 위한 포괄적인 자원과 경험적 통찰력을 제공하며, 데이터셋과 평가 코드를 공개한다.
