본 논문은 혼합 전문가(MoE) 대규모 언어 모델(LLM)의 효율성과 확장성을 높이기 위해 동적 라우팅과 희소 활성화를 활용하는 MoE LLM의 사후 훈련 양자화(PTQ) 과정에서 발생하는 정확도 저하 문제를 해결하는 새로운 양자화 프레임워크인 MoEQuant를 제안한다. MoE 모델의 희소성과 동적인 특성으로 인해 발생하는 전문가 간 불균형과 전문가 내 불균형 문제를 해결하기 위해, 전문가 균형 자기 샘플링(EBSS)과 친화도 기반 양자화(AGQ)라는 두 가지 새로운 기법을 제시한다. EBSS는 균형 잡힌 전문가 분포를 가진 보정 집합을 효율적으로 구성하고, AGQ는 전문가와 샘플 간의 친화도를 양자화 과정에 통합하여 MoE 계층 내에서 개별 샘플이 다른 전문가에게 미치는 영향을 정확하게 평가한다. 실험 결과, MoEQuant는 DeepSeekMoE-16B 모델에서 4비트 양자화 환경 하에 HumanEval 기준 10점 이상의 정확도 향상을 달성하며 효율성을 높였다.
