본 논문은 대규모 언어 모델에서 Mixture-of-Experts(MoE) 아키텍처에 대한 종합적인 검토를 제시합니다. MoE는 최소한의 계산 오버헤드로 모델 성능을 크게 향상시키는 능력을 가지고 있습니다. 이 논문은 이론적 기초, 핵심 아키텍처 설계, 대규모 언어 모델(LLM) 응용 프로그램에 걸친 체계적인 분석을 통해 전문가 게이팅 및 라우팅 메커니즘, 계층적 및 스파스 MoE 구성, 메타 러닝 접근 방식, 다중 모드 및 다중 작업 학습 시나리오, 실제 배포 사례 및 최근 딥 러닝의 발전과 과제를 조사합니다. 분석 결과 MoE의 주요 장점으로는 동등한 베이지안 접근 방식에 비해 우수한 모델 용량, 향상된 작업별 성능 및 모델 용량을 효율적으로 확장하는 기능이 확인되었습니다. 또한 전문가 다양성, 정확한 교정 및 안정적인 추론 집계를 보장하는 것이 MoE 아키텍처의 효과를 극대화하는 데 필수적임을 강조합니다. 마지막으로 본 검토는 현재 연구의 한계, 미해결 과제 및 유망한 미래 방향을 제시하여 MoE 아키텍처 및 그 응용 분야의 지속적인 혁신을 위한 기반을 제공합니다.
