본 논문은 Transformer 기반 대규모 사전 훈련 모델의 파라미터 효율적인 미세 조정 방법인 어댑터 튜닝의 자원 사용량 문제를 해결하기 위해 Selective Adapter FrEezing (SAFE) 기법을 제안합니다. SAFE는 중요도가 낮은 어댑터를 단계적으로 동결하여 불필요한 자원 사용을 줄이면서 성능을 유지합니다. 실험 결과, SAFE는 메모리 사용량, 계산량 및 훈련 시간을 각각 42.85%, 34.59%, 11.82% 감소시키면서 기존 방법과 비슷하거나 더 나은 성능을 달성했습니다. 또한, SAFE는 정규화 효과를 유도하여 손실 지형을 부드럽게 하여 과적합을 방지하고 일반화 성능을 향상시킵니다.
