Ang Lv, Ruobing Xie, Yining Qian, Songhao Wu, Xingwu Sun, Zhanhui Kang, Di Wang, Rui Yan
개요
본 논문은 기존 Mixture-of-Experts (MoE) 모델의 라우터와 전문가 모듈 간의 분리로 인한 비효율적인 전문가 선택 및 학습 문제를 지적하고, 이를 해결하기 위해 새로운 MoE 패러다임인 Autonomy-of-Experts (AoE)를 제안합니다. AoE는 전문가가 자신의 처리 능력을 스스로 평가하여 입력을 처리할지 여부를 결정하는 방식입니다. 라우터를 제거하고, 전문가가 입력에 대한 내부 활성화를 미리 계산하여 활성화 규범에 따라 순위를 매긴 후 상위 전문가만 처리를 진행합니다. 저차원 가중치 분해를 통해 미리 계산하는 오버헤드를 줄였으며, 7억에서 40억 개의 파라미터를 가진 언어 모델을 사전 훈련하여 기존 MoE 모델보다 효율성이 향상됨을 보였습니다.
시사점, 한계점
•
시사점:
◦
기존 MoE 모델의 라우터 의존성 문제를 해결하는 새로운 접근 방식 제시
◦
전문가의 자율적인 입력 선택을 통해 전문가 선택 및 학습 효율 향상
◦
저차원 가중치 분해를 통한 계산 비용 감소
◦
대규모 언어 모델에서의 성능 향상 확인
•
한계점:
◦
AoE의 효과가 모든 유형의 데이터 및 모델 아키텍처에서 일반화되는지에 대한 추가 연구 필요
◦
저차원 가중치 분해의 차원 축소 정도가 모델 성능에 미치는 영향에 대한 심층적인 분석 필요
