Adversarial input 공격은 CLIP 임베딩에 상당한 변화를 일으킬 수 있으며, 이는 텍스트-이미지 생성 모델 또는 대규모 비전 언어 모델과 같이 CLIP을 통합하는 모델의 다운스트림 견고성에 영향을 미칩니다. 본 논문에서는 CLIP 텍스트 인코더의 견고성 문제를 다룹니다. 대규모 CLIP 모델로 확장 가능한 텍스트 도메인에 대한 효율적인 적대적 미세 조정 방법인 LEAF를 제안합니다. LEAF는 제로샷 적대적 정확도를 크게 향상시키면서, 견고한 이미지 인코더가 제공하는 시각적 성능을 유지합니다. 텍스트-이미지 확산 모델과 결합 시 적대적 노이즈 하에서 생성 품질을 향상시키며, 다중 모드 검색 작업에서 적대적 노이즈 하에서 표준 CLIP 모델보다 리콜을 향상시킵니다. 또한, 견고한 텍스트 인코더는 직접 최적화를 통해 임베딩으로부터 입력 텍스트를 더 잘 재구성할 수 있음을 보여줍니다.
