멀티모달 딥러닝 모델, 특히 CLIP과 같은 모델의 발달은 다양한 분야에서 혁신을 가져왔지만, 적대적 공격, 특히 백도어 공격에 취약하다. 본 연구에서는 이러한 공격에 대한 멀티모달 대조 학습 모델의 견고성을 향상시키기 위한 혁신적인 전략을 제시한다. 구체적으로, 오염된 CLIP 모델이 주어졌을 때, 백도어 트리거를 식별하고 영향을 받는 샘플과 레이블을 효율적으로 찾아낸다. 이를 위해 이미지 분할 "oracle"을 사용하여 오염된 CLIP의 출력을 감독한다. CLIP과 oracle의 지식을 구별하여 잠재적 트리거를 식별하고, 영향을 받는 레이블과 샘플을 찾아내어 소형 fine-tuning 데이터셋을 구성하는 두 가지 알고리즘을 개발했다. 이 정보를 바탕으로 오염된 CLIP 모델을 수정하여 백도어 효과를 무력화할 수 있다. 시각 인식 벤치마크에 대한 광범위한 실험을 통해 제안된 전략이 CLIP 기반 백도어 방어에 효과적임을 입증했다.
