본 논문은 다중 모달 기반 모델에서 텍스트와 시각적 콘텐츠 간의 상호 작용을 악용하는 활자 공격에 대한 연구를 다룹니다. 기존의 데이터셋이 크기와 다양성 면에서 제한적이라는 점을 지적하며, 실제 세계의 활자 공격 이미지를 포함하는 가장 크고 다양한 데이터셋인 SCAM을 소개합니다. SCAM은 수백 개의 객체 범주와 공격 단어에 걸쳐 1,162개의 이미지를 포함합니다. Vision-Language Models (VLMs)에 대한 광범위한 벤치마킹을 통해 활자 공격이 성능을 크게 저하시키는 것을 보여주고, 훈련 데이터와 모델 아키텍처가 이러한 공격에 대한 취약성에 영향을 미친다는 것을 확인합니다. 최첨단 Large Vision-Language Models (LVLMs)에서도 시각 인코더의 선택으로 인해 활자 공격이 지속되지만, 더 큰 Large Language Models (LLMs) 백본은 취약성을 완화하는 데 도움이 된다는 것을 밝힙니다. 또한, 합성 공격이 실제 세계(수기) 공격과 매우 유사하다는 것을 보여주어 연구에서의 활용을 검증합니다. robust하고 신뢰할 수 있는 다중 모달 AI 시스템을 향한 미래 연구를 촉진하기 위한 포괄적인 리소스와 경험적 통찰력을 제공하며, 데이터셋과 평가 코드를 공개합니다.
