본 논문은 대규모 언어 모델(LLM)의 지식 업데이트를 위한 새로운 프레임워크를 제안합니다. 기존의 지식 편집 방법들이 순차적 편집 시나리오에서 어려움을 겪고 모델의 일반적인 성능을 저하시키는 문제를 해결하기 위해, 강건한 지도 미세 조정(R-SFT)과 모델 병합을 결합한 2단계 프레임워크를 제시합니다. 먼저 LLM을 미세 조정하여 새로운 지식을 완전히 내재화한 후, 미세 조정된 모델과 원래 기반 모델을 병합하여 새롭게 습득한 지식과 일반적인 성능을 모두 유지합니다. 실험 결과, 제안된 방법은 순차적 편집에서 기존 방법보다 성능이 훨씬 뛰어나며, 모델의 원래 성능을 더 잘 보존하면서 아키텍처 변경 없이도 동작합니다. 코드는 https://github.com/Applied-Machine-Learning-Lab/MM4KE 에서 이용 가능합니다.
