본 논문은 제한된 주석 데이터를 사용하여 성공적인 모델을 훈련하는 데 백본의 사전 훈련된 가중치를 활용하는 전이 학습의 중요성을 강조합니다. 특히 소규모 데이터셋에서는 최종 성능이 초기 특징 표현의 질에 크게 의존하기 때문에 적절한 백본을 선택하는 것이 중요합니다. 기존 연구에서는 다양한 데이터셋에 걸쳐 벤치마크를 수행하여 보편적으로 최고 성능을 발휘하는 백본을 식별했지만, 본 논문은 백본의 효과가 데이터셋에 크게 의존하며, 특히 단일 백본이 일관되게 우수한 성능을 보이지 않는 저데이터 시나리오에서 더욱 그러함을 보여줍니다. 이러한 한계를 극복하기 위해 본 논문은 데이터셋 특정 백본 선택을 새로운 연구 방향으로 제시하고 저데이터 환경에서의 실용성을 조사합니다. 대규모 백본 풀에 대한 완전한 평가는 계산상 비현실적이므로, 본 논문은 계산 제약 하에서 고성능 백본을 검색하는 문제인 Vision Backbone Efficient Selection (VIBES)를 공식화합니다. 솔루션 공간을 정의하고 여러 휴리스틱을 제안하며, 네 가지 다양한 데이터셋에서 실험을 수행하여 저데이터 이미지 분류에 대한 VIBES의 실현 가능성을 보여줍니다. 실험 결과, 단순한 검색 전략이라도 1300개가 넘는 사전 훈련된 모델 풀에서 적합한 백본을 찾을 수 있으며, 단일 GPU(NVIDIA RTX A5000)에서 10분 이내의 검색 시간으로 일반적인 벤치마크 권장 사항보다 우수한 성능을 보임을 보여줍니다.
