CLIP-PING은 경량 비전-언어 모델의 성능을 향상시키기 위해 제안된 새로운 학습 패러다임입니다. 기존의 단일 이미지-텍스트 대조 학습 방식의 한계를 극복하기 위해, CLIP-PING은 사전 훈련된 인코더에서 추출된 단일 모달 특징을 활용하여 근접 이웃 샘플(NN 및 XNN)의 내재적 안내를 얻습니다. 이러한 이웃으로부터 추가적인 대조 지도를 통해 모델의 교차 모달 정렬을 강화하고, 풍부한 의미적 다양성을 가진 일반적인 특징을 학습하도록 합니다. ViT-XS 이미지 인코더를 사용하여 3백만 개의 (이미지, 텍스트) 쌍으로 훈련된 경우, CLIP-PING은 제로샷 ImageNet1K 분류에서 5.5%, Flickr30K 검색에서 I2T 10.7%, T2I 5.7% 향상을 보이는 등 기존 CLIP을 능가하는 성능을 보여줍니다. 또한, 여러 하위 작업에서 선형 평가 프로토콜 하에서 강력한 전이 성능을 보입니다.
