Dense Backpropagation Improves Training for Sparse Mixture-of-Experts
Created by
Haebom
저자
Ashwinee Panda, Vatsal Baherwani, Zain Sarwar, Benjamin Therien, Supriyo Chakraborty, Tom Goldstein
개요
본 논문은 Mixture of Experts (MoE) 사전 훈련의 확장성을 높이기 위한 경량 근사 방법인 Default MoE를 제안합니다. MoE는 입력을 일부 피드포워드 파라미터에 라우팅하여 학습하지만, 이로 인해 드문드문 역전파 업데이트가 발생하여 훈련 불안정성과 최적 성능 저하가 발생합니다. Default MoE는 이러한 문제를 해결하기 위해, 누락된 전문가 활성화를 훈련 과정에서 이전에 관찰된 전문가 출력의 지수 이동 평균으로 구성된 기본 출력으로 대체합니다. 이를 통해 라우터는 각 토큰에 대해 모든 전문가로부터 신호를 받아 훈련 성능을 크게 향상시킵니다. Default MoE는 상당한 계산 오버헤드 없이 다양한 환경에서 표준 TopK 라우팅보다 우수한 성능을 보입니다.
