본 논문은 소수의 레이블링된 데이터만으로 분류 모델을 학습하는 몇 샷 인식(FSR) 문제를 해결하기 위해 사전 훈련된 비전-언어 모델(VLM)을 활용하는 방법을 제시합니다. 특히, VLM의 사전 훈련 데이터셋과 같은 개방형 데이터를 검색하여 하위 작업에 더 나은 모델을 학습하는 검색 증강 학습(RAL)을 탐구합니다. RAL은 제로샷 인식에서 연구되었지만 FSR에서는 아직 미개척 분야입니다. 본 논문은 RAL을 FSR에 적용하는 과정에서 예상치 못한 과제와 기회를 발견했습니다. 먼저, 대량의 검색된 데이터로 VLM을 미세 조정하는 것이 최첨단 제로샷 방법보다 성능이 떨어지는 것을 확인했습니다. 이는 검색된 데이터의 불균형 분포와 하위 작업의 소수 샷 예제와의 도메인 간극 때문입니다. 둘째, 소수 샷 예제로만 VLM을 미세 조정하는 것이 기존 FSR 방법보다 성능이 훨씬 뛰어나며, 검색된 데이터와 소수 샷 데이터를 혼합하여 미세 조정하면 더 좋은 결과를 얻을 수 있음을 발견했습니다. 셋째, 불균형 분포 및 도메인 간극 문제를 완화하기 위해, 1단계에서는 혼합 데이터에 대한 엔드투엔드 미세 조정을 수행하고, 2단계에서는 소수 샷 데이터에 대해 분류기를 재훈련하는 단계별 검색 증강 미세 조정(SWAT)을 제안합니다. 9개의 인기 벤치마크에 대한 광범위한 실험을 통해 SWAT가 기존 방법보다 정확도가 6% 이상 향상됨을 보여줍니다.
