본 논문은 사전 훈련된 비전-언어(VL) 모델이 적대적 공격에 취약하다는 점을 지적하며, 기존 방어 기법들이 주로 이미지 분류에 초점을 맞추고 다중 모드 공격(이미지와 텍스트 모두 변형되는 공격)과 이미지-텍스트 간의 일대다 관계(1:N 및 N:1)를 간과한 점을 문제 삼습니다. 따라서 본 연구는 VL 작업에서 다중 모드 공격에 대한 방어 전략을 최초로 탐구합니다. 이를 위해 이미지와 텍스트 양쪽에 적대적 변형을 통합하는 다중 모드 적대적 훈련(MAT)을 제안하고, 기존의 단일 모드 방어보다 뛰어난 성능을 보임을 보여줍니다. 또한 MAT가 VL 훈련 데이터의 결정론적 일대일(1:1) 이미지-텍스트 쌍에 의해 제한되는 것을 발견하고, 일대다 관계를 활용하여 강건성을 향상시키는 포괄적인 연구를 수행합니다. 다양한 증강 기법을 조사하여 효과적인 방어를 위해 증강된 이미지-텍스트 쌍은 잘 정렬되고 다양해야 하며, 분포 이동을 피해야 함을 보여줍니다. 실험 결과 MAT가 다양한 VL 모델과 작업에 효과적으로 적용될 수 있으며, 이전의 노력보다 우수한 적대적 강건성을 제공함을 보여줍니다.
