본 논문은 대규모 데이터셋으로 사전 훈련된 후 특정 하위 작업에 대해 미세 조정되는 기초 모델(Foundation Models, FMs)에 대한 연구를 다룬다. 기존의 저랭크 적응(LoRA) 기반 미세 조정 방법은 기울기 또는 가중치 행렬의 특이값 분해(SVD)에 의존하는 초기화 전략을 사용하지만, 빠른 적응에 중요한 기대 기울기 신호를 증대시키지 못한다는 한계를 지닌다. 본 논문에서는 기대 기울기 신호를 증대시켜 미세 조정 속도를 높이는 초기화 계획인 설명된 분산 적응(Explained Variance Adaptation, EVA)을 제시한다. EVA는 활성화 벡터의 미니 배치에 대한 증분 SVD를 수행하고, 수렴된 후 우특이 벡터를 초기화에 선택한다. 또한 주어진 랭크 예산에 대해 가장 많은 활성화 분산을 포착하는 방향을 선택하여, 훈련 가능한 매개변수의 수를 줄이면서 하위 작업 성능을 유지하거나 개선하는 적응형 랭크를 수용한다. 다양한 미세 조정 작업(자연어 생성 및 이해, 이미지 분류, 강화 학습)에 EVA를 적용한 결과, 경쟁 방법보다 빠른 수렴 속도를 보였으며, 도메인별 다양한 작업에서 평균 점수가 가장 높았고 랭크 재분배를 통해 훈련 가능한 매개변수의 수를 줄였다.
