본 논문은 대규모 사전 훈련된 시각-언어 모델(VLMs)의 적대적 공격 취약성 문제를 해결하기 위해, 이중 모드 지식 증류 프레임워크인 적대적 프롬프트 증류(APD)를 제안합니다. 기존의 적대적 프롬프트 조정(APT) 방법들이 단일 모드에 국한된 것과 달리, APD는 시각 및 텍스트 모달리티 모두에 대한 프롬프트를 최적화하며, 깨끗한 사전 훈련된 교사 CLIP 모델로부터 지식을 증류합니다. 다양한 벤치마크 데이터셋에서의 실험 결과, APD가 기존 최첨단 APT 방법들보다 적대적 강건성과 깨끗한 정확도 측면에서 우수함을 보여줍니다. 또한 비강건성 교사 모델을 사용하여 미세 조정된 VLMs의 일반화 및 강건성을 향상시킬 수 있음을 입증합니다.
