SeMoBridge: Semantic Modality Bridge for Efficient Few-Shot Adaptation of CLIP

Fri, 10 Apr 2026 08:35:57 GMT

### 저자

Christoph Timmermann, Hyunse Lee, Woojin Lee

### 💡 개요

CLIP은 이미지와 텍스트 임베딩을 정렬하여 제로샷 학습에서 뛰어나지만, 학습 시 이미지와 텍스트 간의 고유한 간격으로 인해 intra-modal 정렬 불일치 문제가 발생하여 적은 수의 예시만으로 분류하는 작업(few-shot classification)에서는 성능이 저하됩니다. 이러한 문제를 해결하기 위해 본 논문은 이미지를 텍스트 모달리티로 매핑하여 의미적 내용을 유지하는 경량화된 방법론인 SeMoBridge를 제안합니다. SeMoBridge는 닫힌 형태(closed-form)로 계산이 효율적이며, 추가적으로 멀티모달 지도 학습을 통해 훈련될 수 있어 특히 저데이터 환경에서 기존 방법론보다 뛰어난 성능을 보입니다.

### 🔑 시사점 및 한계

- **intra-modal 정렬 불일치 문제 해결:** CLIP의 근본적인 문제점인 이미지 내부 및 텍스트 내부 임베딩 공간의 불일치를 직접적으로 해결하여 few-shot 분류 성능을 향상시켰습니다.

- **효율적인 Few-Shot 적응:** 제안된 SeMoBridge는 계산 비용이 적고 훈련 시간이 짧으면서도, 특히 1, 2, 4개의 예시만을 사용하는 극저데이터 환경에서 기존의 few-shot 적응 방법론들을 능가하는 성능을 보여줍니다.

- **방법론의 일반화 가능성:** 이미지 임베딩을 텍스트 임베딩 공간으로 매핑하는 "Semantic Modality Bridge" 아이디어는 CLIP 외 다른 멀티모달 모델에도 적용될 수 있는 잠재력을 가지고 있습니다.

---

[PDF 보기](https://arxiv.org/pdf/2509.26036)