본 논문은 대규모 언어 모델(LLM)의 효율적인 업데이트 방법을 제시합니다. 기존에는 새로운 사전 훈련 모델 버전마다 비용이 많이 드는 정렬 과정을 반복해야 했지만, 본 논문에서는 특정 모델 버전에서 얻은 미세 조정 업데이트(diff vector)를 다른 버전의 기본 모델에 적용하는 방법을 제안합니다. 다양한 공개 모델 버전을 사용한 실험 결과, 이 방법을 통해 추가 훈련 없이도 대상 기본 모델의 성능을 크게 향상시킬 수 있음을 보여줍니다. 예를 들어, Llama 3.0 8B에서 얻은 미세 조정 업데이트를 Llama 3.1 8B에 적용하여 GPQA 정확도를 10.7% 향상시켰으며, 다국어 모델 개발 환경에서도 말라가시어와 터키어에 대해 Global MMLU 성능을 각각 4.7%, 15.5% 향상시켰습니다. 소스 모델과 대상 모델이 매개변수 공간에서 선형적으로 연결될 때 미세 조정 전이가 가장 효과적이며, 반복적인 재활용-미세 조정 접근 방식을 통해 효율성과 효과성을 모두 향상시킬 수 있음을 보여줍니다.
