본 논문은 다중 모달 기반 모델에서 텍스트와 시각적 콘텐츠 간의 상호 작용을 악용하는 활자 공격(typographic attacks)에 대해 다룹니다. 기존의 데이터셋의 크기와 다양성이 제한적이라는 점을 감안하여, 연구진은 다양한 물체 카테고리와 공격 단어를 포함하는 1,162개의 이미지로 구성된, 현존하는 가장 크고 다양한 실제 세계 활자 공격 이미지 데이터셋인 SCAM을 소개합니다. Vision-Language Model (VLM)에 대한 광범위한 벤치마킹을 통해 활자 공격이 성능을 현저히 저하시킨다는 것을 보여주고, 훈련 데이터와 모델 아키텍처가 이러한 공격에 대한 취약성에 영향을 미친다는 것을 확인합니다. 최첨단 대규모 비전-언어 모델(LVLMs)에서도 비전 인코더의 선택으로 인해 활자 공격이 지속되지만, 더 큰 대규모 언어 모델(LLMs) 백본이 취약성을 완화하는 데 도움이 된다는 것을 밝힙니다. 또한, 합성 공격이 실제 세계(수기) 공격과 매우 유사하다는 것을 보여주어 연구에서의 활용을 검증합니다. 이 연구는 강력하고 신뢰할 수 있는 다중 모달 AI 시스템을 향한 미래 연구를 촉진하기 위한 포괄적인 리소스와 경험적 통찰력을 제공하며, 데이터셋과 평가 코드를 공개합니다.
