본 논문은 ExPLoRA라는 새로운 파라미터 효율적인 미세 조정(PEFT) 기법을 제시합니다. ExPLoRA는 사전 훈련된 비전 트랜스포머(ViT)를 새로운 도메인으로 전이 학습하는 데 초점을 맞춥니다. 기존의 대규모 자연 이미지 데이터셋(예: DinoV2 또는 MAE)으로 사전 훈련된 ViT를 새로운 도메인의 비지도 학습 데이터로 추가적으로 사전 훈련합니다. 이때 1~2개의 사전 훈련된 ViT 블록만 해제하고 나머지 레이어는 LoRA를 사용하여 조정합니다. 최종적으로 새로운 도메인의 지도 학습 데이터로 LoRA를 이용하여 미세 조정합니다. 실험 결과, 특히 위성 이미지 데이터셋에서 기존의 완전 사전 훈련 및 미세 조정 방식보다 우수한 성능을 보이며, 최첨단 성능을 달성했습니다. DinoV2 목적 함수를 사용한 실험에서는 기존 최첨단 방식 대비 최대 8%의 선형 프로빙 top-1 정확도 향상을 달성했으며, 사용된 파라미터 수는 10% 미만입니다.
