본 논문은 대규모 언어 모델(LLM)의 스파스 Mixture-of-Experts (MoE) 아키텍처에서 단순한 선형 라우터 전략으로 인해 발생하는 부하 불균형 문제를 해결하기 위해 새로운 그래프 기반 MoE 프레임워크인 GMoE를 제안합니다. GMoE는 그래프 라우터 함수를 설계하여 전문가 간의 협업 신호를 포착하고, 이를 통해 모든 전문가가 이웃 전문가와 정보를 공유하여 입력 데이터에서 파생된 정보를 동적으로 할당할 수 있도록 합니다. 또한, 각 전문가의 용량을 더욱 확장하고 LLM의 미세 조정에서 모델 안정성을 높이기 위해 Poisson 분포 기반 구별 전략과 정규 분포 기반 균형 전략이라는 두 가지 조정 전략을 제시합니다. Low-Rank Adaptation (LoRA)과 같은 매개변수 효율적인 미세 조정 기법을 활용하여 그래프 MoE 아키텍처를 구현하며, 네 개의 실제 벤치마크 데이터셋에 대한 광범위한 실험을 통해 LLM 미세 조정에서 여러 전문가의 협업을 용이하게 하는 GMoE의 효과를 보여줍니다.
