Sparse Mixture-of-Experts (SMoE) 아키텍처는 대규모 언어 모델(LLM) 확장에 새로운 지평을 열었지만, 모든 전문가를 메모리에 로드해야 하는 과도한 정적 메모리 오버헤드가 단점으로 작용합니다. 기존 사후 훈련 가지치기 방식은 단일 일반 목적 코퍼스에서 가지치기 기준을 도출하여 다른 도메인에 적용 시 성능 저하를 야기합니다. 이러한 일반화 격차를 해결하기 위해, MoP(Mosaic Pruning)를 제안합니다. MoP는 전문가의 기능적 포괄적인 집합을 구성하기 위해 "클러스터링 후 선택" 프로세스를 사용합니다. 이 프로세스는 다른 작업 도메인에서 전문가 성능을 포착하는 유사성 메트릭을 활용하여 전문가를 기능적으로 클러스터링하고, 제안된 Activation Variability Score를 기반으로 각 클러스터에서 가장 대표적인 전문가를 선택합니다. MoP는 다양한 다운스트림 작업을 처리할 수 있도록, 마치 모자이크 타일처럼 전체 모델의 기능을 완전하게 유지합니다. 다양한 MoE 모델에 대한 광범위한 실험을 통해 MoP가 일반 작업에서 7.24%, 수학적 추론 및 코드 생성과 같은 특수 작업에서 8.92%의 성능 향상을 보이며 기존 방식을 능가함을 입증합니다.
