본 논문은 비전 트랜스포머를 이용한 다양한 매개변수 효율적인 미세 조정(PEFT) 방법들의 성능과 적용 시나리오에 대한 체계적인 실증 연구를 수행합니다. 저자들은 대표적인 PEFT 방법들의 하이퍼파라미터를 체계적으로 조정하여 다운스트림 작업에서의 정확도를 공정하게 비교합니다. 연구 결과, 신중한 조정을 통해 다양한 PEFT 방법들이 저샷 벤치마크 VTAB-1K에서 유사한 정확도를 달성하며, PEFT 방법들이 서로 다른 유형의 오류를 범하고 신뢰도 높은 예측을 다르게 수행한다는 점을 발견했습니다. 또한, PEFT가 다수 샷 환경에서도 유용하며, 전체 미세 조정과 비교하여 상당히 적은 매개변수를 사용하면서도 비슷하거나 더 나은 정확도를 달성할 수 있음을 보여줍니다. 마지막으로, PEFT의 분포 변화에 대한 강건성 유지를 조사하여, PEFT 접근 방식이 전체 미세 조정보다 우수하지만, 가중치 공간 앙상블을 사용하면 전체 미세 조정이 타겟 분포와 분포 변화 성능 간의 균형을 더 잘 맞출 수 있음을 제시합니다.
