본 논문은 대규모 언어 모델(LLM)의 성능과 효율성 향상을 위한 핵심 기술인 모델 병합에 대해 연구합니다. 오픈소스 커뮤니티에서 기존 모델을 반복적으로 병합하여 모델 발전을 이끌어 왔지만, 모델 병합의 이점과 기저 요인에 대한 체계적인 이해는 부족한 실정입니다. 본 연구는 생물학적 진화와의 유추를 통해 반복적인 병합을 통한 모델 진화를 연구하고, LLM 간의 유사성 또는 관련성 정도를 나타내는 '모델 친족 관계' 개념을 도입합니다. 실증 분석을 통해 모델 친족 관계가 병합을 통해 얻는 성능 향상과 밀접하게 연관되어 있음을 보여주고, 후보 모델을 선택하기 위한 유용한 기준을 제공합니다. 이러한 통찰력을 바탕으로 모델 친족 관계를 지침으로 사용하여 성능 저하를 완화하고 효과적인 모델 진화를 촉진하는 새로운 모델 병합 전략인 '모델 친족 관계를 고려한 Top-k 탐욕적 병합'을 제안합니다.
