본 논문은 사전 훈련된 대규모 언어 모델(LLM)을 특수 작업에 미세 조정하는 데 드는 상당한 계산 및 데이터 비용 문제를 해결하기 위해, 여러 작업별 모델을 통합하는 학습 없는 솔루션인 모델 병합에 초점을 맞춥니다. 기존 모델 병합 방법들의 안전성-유용성 충돌 문제(향상된 일반 기능이 안전 장치를 저하시키는 문제)를 해결하기 위해, 단순한 매개변수 크기 기반 선택으로 인한 뉴런 오식별 및 병합 중 발생하는 작업 간 뉴런 간섭이라는 두 가지 근본 원인을 밝힙니다. 이를 해결하기 위해, 기울기 기반 속성을 통해 작업별 뉴런을 찾고, 다중 모델 중요도 융합을 통해 중요한 뉴런을 동적으로 선택하며, 매개변수 격리를 통해 상충되는 업데이트를 분리하는 세 단계 프레임워크인 LED-Merging을 제안합니다. Llama-3-8B, Mistral-7B 및 Llama2-13B에 대한 광범위한 실험을 통해 LED-Merging이 유해 응답률을 효과적으로 줄이고(Llama-3-8B-Instruct의 HarmBench에서 31.4% 감소), 동시에 유용성 성능(GSM8K에서 52.39% 정확도 달성)의 95%를 유지함을 보여줍니다. LED-Merging은 안전성-유용성 충돌을 해결하고 안정적인 다중 작업 LLM을 구축하기 위한 경량의 학습 없는 패러다임을 제공합니다. 코드는 GitHub에서 이용 가능합니다.
