본 논문은 특정 도메인에 대한 지도 미세 조정(SFT)을 통해 기초 모델을 특수 작업에 적용하는 기존 방식의 한계점을 다룹니다. SFT는 사전 훈련 과정에서 얻은 지식을 잊어버리는 경향이 있는데, 이를 완화하기 위해 사전 훈련된 모델과 미세 조정된 모델을 앙상블하는 기법이 시각 모델에서 효과적임이 확인되었습니다. 본 논문은 이러한 앙상블 기법이 언어 모델에서도 효과적임을 보이고, 더 나아가 미세 조정 도메인 자체에서도 미세 조정된 모델보다 앙상블 모델의 성능이 더 우수한 '과적응' 현상을 발견했습니다. 이러한 경험적 성공에도 불구하고, 앙상블의 이점에 대한 이론적 이해는 부족한 실정입니다. 따라서 본 논문에서는 과적응 현상에 대한 공식적인 이론적 분석을 제시합니다. 앙상블은 미세 조정 부족으로 인한 편향과 미세 조정 데이터에 대한 과적합으로 인한 분산이라는 두 가지 주요 오류 원인 간의 균형을 맞춤으로써 이를 완화합니다. 정규화 기법이 이러한 절충을 해결하려는 목표를 가지고 있지만, 본 논문은 앙상블이 더 효과적인 해결책임을 보여줍니다. 과매개화된 선형 설정에서 이 현상을 분석하고, 사전 훈련된 가중치와 미세 조정된 가중치 간의 보간이 성능을 크게 향상시킨다는 것을 보여줍니다. 이러한 발견은 분석과 일치하는 경험적 실험으로 뒷받침되는 모델 앙상블의 장점에 대한 이론적 근거를 제공합니다.
