REAP the Experts: Why Pruning Prevails for One-Shot MoE compression

작성자

Haebom

카테고리

Empty

저자

Mike Lasby, Ivan Lazarevich, Nish Sinnadurai, Sean Lie, Yani Ioannou, Vithursan Thangarasa

💡 개요

본 연구는 Mixture-of-Experts (MoE) 모델의 압축을 위한 전문가 압축 전략으로 가지치기(pruning)가 병합(merging)보다 우수함을 보여줍니다. 특히 생성 작업에서 발생하는 미세한 라우팅 제어 상실로 인한 불가피한 오류를 지적하며, 이를 해결하기 위해 라우터 게이트 값과 전문가 활성화 규범을 모두 고려하는 새로운 가지치기 기준인 REAP (Router-weighted Expert Activation Pruning)를 제안합니다. REAP는 다양한 크기의 MoE 모델에서 병합 및 다른 가지치기 방법론보다 일관되게 우수한 성능을 보이며, 특히 코드 생성과 같은 작업에서 50% 압축률에서도 거의 손실 없는 성능을 달성했습니다.

🔑 시사점 및 한계

•

생성 작업에서 MoE 모델 압축 시, 전문가 병합보다 전문가 가지치기가 더 효과적인 전략임을 입증했습니다.

•

라우터의 미세한 제어 능력을 유지하면서 전문가를 압축하는 것이 생성 모델 성능 유지에 중요함을 시사합니다.

•

제안된 REAP 기법은 다양한 MoE 모델에서 50% 압축률에서도 뛰어난 성능을 보이며, 특히 코드 생성과 같은 특정 생성 작업에서 거의 손실 없는 압축을 가능하게 합니다.

•

본 연구는 주로 생성 작업에 초점을 맞추었으므로, 판별(discriminative) 작업에서의 REAP의 성능 및 효과에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage