본 논문은 대규모 비전-언어 모델(LVLMs)의 유해 시각 입력 취약성 문제를 해결하기 위해 경량화된 방법인 SafeCLIP을 제시합니다. SafeCLIP은 LVLMs의 다중 모드 정렬 기능을 활용하여 제로샷 독성 이미지 탐지를 수행합니다. CLIP의 버려진 CLS 토큰을 텍스트 공간으로 투영하고 독성 기술자와 매칭하여 모델의 구조적 변경 없이 유해 콘텐츠를 탐지합니다. 이는 최소한의 지연 시간으로 추론 및 미세 조정 중에 동적인 안전 수정을 가능하게 합니다. 실험 결과, SafeCLIP은 66.9%의 방어 성공률을 달성하면서 위양성률은 3.2%, 오버헤드는 7.2%에 불과했습니다. 이는 기존 최첨단 방법보다 훨씬 효율적입니다.
