본 논문은 여러 미세 조정된 대규모 언어 모델(LLM)의 매개변수와 임베딩을 결합하는 모델 병합 기법에 Activation-Informed Merging(AIM)을 도입한다. AIM은 LLM의 활성화 공간 정보를 병합 과정에 통합하여 성능과 견고성을 향상시키는 유연한 보완 솔루션으로, 기존 병합 방법에 적용 가능하다. 지속적 학습(CL) 및 모델 압축 원리를 활용하여 기본 모델의 중요한 가중치를 보존하고, 과제에 독립적인 보정 집합을 사용하여 병합 시 필수 가중치를 선택적으로 우선시한다. AIM은 다양한 벤치마크에서 병합 모델의 성능을 크게 향상시켰으며, 활성화 공간 정보를 고려하면 LLM 모델 병합 전략에서 최대 40%의 벤치마크 성능 향상을 가져올 수 있음을 입증했다.
