Efficiently Editing Mixture-of-Experts Models with Compressed Experts
Created by
- Haebom
Category
Empty
저자
Yifei He, Yang Liu, Chen Liang, Hany Hassan Awadalla
개요
본 논문은 Mixture-of-Experts (MoE) 모델의 효율적인 확장을 위해 압축된 전문가(compressed experts) 개념을 제안합니다. 기존 MoE 모델은 학습 및 추론 시 일부 전문가만 활성화시키지만, 모든 활성화된 전문가가 성능에 동등하게 기여하지 않는다는 문제점이 있습니다. 본 논문은 중요하지 않은 전문가들을 압축된 전문가로 대체하여 활성화 매개변수 수를 줄이고 추론 비용을 절감하는 방법을 제시합니다. Phi-MoE와 OLMoE 모델을 대상으로 한 실험 결과, 압축된 전문가는 전체 전문가 성능의 90% 이상을 회복하면서 활성 매개변수를 30% 이상, 추론 비용을 20% 이상 절감하는 것으로 나타났습니다. 이는 자원 제약 환경에서 MoE 모델의 효율적인 배포 및 더 큰 모델로의 확장을 가능하게 합니다. 코드는 https://github.com/yifei-he/Compressed-Experts 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
MoE 모델의 효율성을 크게 향상시킬 수 있는 새로운 방법 제시.
◦
활성 매개변수 및 추론 비용 감소를 통해 자원 제약 환경에서 MoE 모델의 적용 가능성 확대.
◦
더 큰 MoE 모델의 개발 및 배포를 위한 가능성 제시.
•
한계점:
◦
제안된 방법의 성능 향상은 특정 MoE 모델(Phi-MoE, OLMoE) 및 실험 환경에 국한될 수 있음.
◦
압축된 전문가 생성 과정 및 최적의 압축 비율 결정에 대한 추가적인 연구가 필요할 수 있음.
◦
다양한 downstream task에 대한 일반화 성능에 대한 추가적인 검증 필요.
