Do Not Merge My Model! Safeguarding Open-Source LLMs Against Unauthorized Model Merging
Created by
Haebom
Category
Empty
저자
Qinfeng Li, Miao Pan, Jintao Chen, Fu Teng, Zhiqiang Shen, Ge Su, Hao Peng, Xuhong Zhang
개요
본 논문은 전문 모델을 통합하여 대형 언어 모델(LLM)을 확장하는 효율적인 기술인 모델 병합에서 발생하는 새로운 위협, 즉 무단 모델 병합을 통한 모델 도용 문제를 다룬다. 기존 방어 메커니즘이 효과적인 보호를 제공하지 못하는 문제를 해결하기 위해, 저자는 무단 병합을 사전에 방지하는 플러그 앤 플레이 방식의 방어 기법인 MergeBarrier를 제안한다. MergeBarrier는 보호 모델과 동종 모델 간의 선형 모드 연결성(LMC)을 방해하여 효과적인 모델 병합에 필요한 낮은 손실 경로를 제거하는 것을 핵심으로 한다. 실험 결과 MergeBarrier는 정확도 손실 없이 모델 병합 도용을 효과적으로 방지하는 것으로 나타났다.
