Pretraining Objective Matters in Extreme Low-Data FGVC: A Backbone-Controlled Study

작성자

Haebom

카테고리

Empty

저자

Alexander Hackett, Srikanth Thudumu, Ginny Fisher, Jason Fisher

💡 개요

본 연구는 극도로 적은 데이터로 미세 분류(FGVC)를 수행할 때 사전 학습 목적이 후속 작업의 표현 품질에 미치는 영향을 분석합니다. 동일한 ViT-B/16 백본을 사용하고 지도 학습, 대조 학습(SigLIP2), 마스크 복원(MAE), 자기 증류(DINOv3)로 사전 학습된 네 가지 인코더를 비교 평가했습니다. 극저데이터 환경에서 통계적 노이즈를 제어하기 위해 순열 검정을 사용한 결과, 지도 학습과 대조 학습이 선형 분리 능력이 가장 우수했으며, MAE는 비선형 프로브에서 성능이 향상되었습니다.

🔑 시사점 및 한계

•

극저데이터 환경에서 선형 분류기만 사용 가능한 경우, 마진을 강조하는 사전 학습 목적(지도 학습, 대조 학습)이 효과적입니다.

•

비선형 분류기를 사용할 수 있다면, 마스크 복원 방식(MAE)이 더 나은 성능을 보일 수 있습니다.

•

본 연구 결과는 DINOv3가 이 특정 도메인에서는 다른 사전 학습 방식에 비해 성능이 저조함을 시사합니다.

•

다양한 유형의 백본과 더 넓은 범위의 사전 학습 목적에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage