본 논문은 대규모 언어 모델(LLM)의 지시어 미세 조정 과정에서 추가적인 연산 자원과 데이터 없이 성능을 향상시키는 새로운 방법인 '외삽법 기반 모델 병합(Extrapolation Merging)'을 제안합니다. 기존의 모델 병합 방법은 최적화 방향이 명확하지 않아 성능 향상을 보장할 수 없다는 한계를 가지고 있습니다. 본 논문에서는 지시어 미세 조정 단계에서 모델 외삽법의 효과를 검증하고, 이를 기반으로 모델 병합 과정에 명확한 최적화 방향을 제시하여 국소적 최적화 탐색을 가능하게 합니다. 7가지 다른 작업에 대한 실험을 통해 미세 조정 후 모델 성능을 지속적으로 향상시킬 수 있음을 보여줍니다.
