Mixture-of-Experts (MoE) 아키텍처는 대규모 언어 모델(LLM)의 확장성과 효율성 때문에 널리 사용되지만, 모듈형 구조로 인해 적대자가 전문가를 가지치기하고 나머지를 저렴하게 미세 조정하여 라이선스 및 보안 제약을 우회할 수 있는 취약점을 갖습니다. 본 논문은 작업별 사용 환경에서 MoE-LLM의 가지치기 가능성을 체계적으로 연구합니다. 먼저 주어진 작업에 가장 책임이 있는 전문가의 하위 집합을 식별하는 전문가 귀속 프레임워크를 개발한 다음, 능동적 학습 기반 미세 조정을 사용하여 이러한 전문가를 가지치기하고 재정렬하는 성능 절충안을 평가합니다. 연구 결과, 중요한 지식 손실-복구 절충안이 나타났습니다. 특정 전문가는 작업 정확도를 유지하기 위해 격리할 수 있지만, 목표 재정렬 없이는 상당한 성능 저하가 발생합니다. 이러한 분석을 바탕으로, 얽힌 전문가 훈련 및 무단 적응에 저항하는 선택적 미세 조정 프로토콜을 포함하여 MoE 모델을 무단으로 압축하고 미세 조정하기 어렵게 만드는 방어 전략을 제안합니다. 이 연구는 전문가 가지치기를 위협 벡터이자 방어 대상으로 위치시켜 MoE 모듈성의 이중 사용 특성을 강조하고 MoE-LLM의 안전한 특화를 위한 최초의 체계적인 평가 프레임워크를 제공합니다.
