본 논문은 여러 개의 미세 조정된 대규모 언어 모델(LLM)의 파라미터와 임베딩을 결합하는 모델 병합 방법을 통해 다양한 작업에서 모델 성능을 향상시키면서 계산 효율성을 유지하는 방법을 제시합니다. 특히, 활성화 공간(activation space) 정보를 병합 과정에 통합하여 성능과 강건성을 향상시키는 활성화 정보 병합(AIM) 기법을 소개합니다. AIM은 기존의 모든 병합 방법에 적용 가능한 유연하고 보완적인 솔루션으로 설계되었으며, 지속적인 학습(CL)과 모델 압축의 원리를 활용하여 기본 모델의 중요한 가중치를 보존하는 것을 목표로 합니다. 작업에 독립적인 보정 세트를 사용하여 병합 중에 중요한 가중치를 선택적으로 우선시하며, 여러 벤치마크에서 병합된 모델의 성능을 크게 향상시키는 것을 실험적으로 증명합니다. 최대 40%의 벤치마크 성능 향상을 보여주며, LLM의 모델 병합 전략에서 활성화 공간 정보를 고려하는 것이 상당한 발전을 가져올 수 있음을 시사합니다.
