StarFT: Robust Fine-tuning of Zero-shot Models via Spuriosity Alignment
Created by
Haebom
저자
Younghyun Kim, Jongheon Jeong, Sangkyung Kwak, Kyungmin Lee, Juho Lee, Jinwoo Shin
개요
본 논문은 CLIP과 같은 제로샷 모델의 강건한 표현 학습이 하위 작업에 미세 조정될 때 쉽게 저하되는 문제를 해결하기 위해 StarFT (Spurious Textual Alignment Regularization) 프레임워크를 제안합니다. StarFT는 미세 조정 과정에서 인간에게는 무의미한 배경이나 질감과 같은 잘못된 특징(spurious features)을 학습하는 것을 방지하여 강건성을 향상시킵니다. 이는 잘못된 특징을 강조하는 대체 텍스트 설명을 생성하는 최신 언어 모델을 활용하여, 잘못된 특징에 대한 출력 분포를 원래 제로샷 모델과 정렬시키는 정규화 기법을 통해 구현됩니다. 실험 결과, StarFT는 특히 Waterbirds 그룹 이동 시나리오에서 다른 강건한 미세 조정 기준 모델보다 성능이 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
제로샷 모델의 미세 조정 과정에서 발생하는 강건성 저하 문제에 대한 새로운 해결책 제시
◦
잘못된 특징 학습 방지를 위한 효과적인 정규화 기법인 StarFT 제안
◦
Waterbirds 그룹 이동 시나리오에서 다른 기법 대비 성능 향상 (최악 그룹 정확도 14.30%, 평균 정확도 3.02% 향상)
