본 논문은 CLIP과 같은 제로샷 모델의 강건한 표현 학습이 downstream task fine-tuning 시 쉽게 저하되는 문제를 해결하기 위해 StarFT(Spurious Textual Alignment Regularization) 프레임워크를 제안합니다. StarFT는 제로샷 모델 fine-tuning 과정에서 배경이나 질감과 같은 인간에게는 무의미한 특징(spurious feature) 학습을 방지하여 강건성을 향상시킵니다. 이는 잠재적으로 혼란스러운 특징을 강조하는 대체 텍스트 설명을 생성하여 spurious label을 만들고, 이에 대한 모델 출력 분포를 원래 제로샷 모델과 정렬하는 정규화를 통해 구현됩니다. 실험 결과, StarFT는 특히 Waterbirds group shift 시나리오에서 다른 강건한 fine-tuning 기법들보다 우수한 성능을 보이며, 최악의 그룹 정확도와 평균 정확도를 각각 14.30%와 3.02% 향상시켰습니다.
