Orders in Chaos: Enhancing Large-Scale MoE LLM Serving with Data Movement Forecasting

Created by

Haebom

저자

Zhongkai Yu, Yue Guan, Zihao Yu, Chenyang Zhou, Zhengding Hu, Shuyi Pei, Yangwook Kang, Yufei Ding, Po-An Tsai

💡 개요

본 연구는 대규모 MoE (Mixture of Experts) LLM (Large Language Model)의 서빙 과정에서 발생하는 데이터 이동 오버헤드를 해결하기 위해 데이터 이동 패턴을 분석하고, 이를 기반으로 서빙 시스템 성능을 향상시키는 방법을 제시합니다. 2025년에 출시된 4개의 최신 MoE 모델에 대한 광범위한 프로파일링을 통해 6가지 주요 인사이트를 도출하고, 이를 바탕으로 웨이퍼 스케일 GPU의 성능을 개선하여 DeepSeek V3 및 Qwen3 모델에서 각각 5.3배 및 3.1배의 평균 속도 향상을 달성했습니다. 본 연구는 MoE 모델의 데이터 중심 분석을 최초로 수행하고, 그 결과를 구체적인 설계 연구에 적용하여 성능 향상을 이끌어냈습니다.

🔑 시사점 및 한계

•

MoE 모델 서빙 시스템의 데이터 이동 패턴을 이해하고, 이를 통해 성능 병목 현상을 파악하여 시스템 최적화의 방향성을 제시했습니다.

•

도출된 인사이트를 활용하여 웨이퍼 스케일 GPU와 같은 하드웨어 아키텍처를 개선함으로써 MoE 모델의 성능을 실질적으로 향상시킬 수 있음을 입증했습니다.

•

연구는 특정 하드웨어 (웨이퍼 스케일 GPU)에 초점을 맞춰 설계되었으며, 다른 하드웨어 환경에서의 적용 가능성에 대한 추가 연구가 필요합니다. 또한, 다양한 워크로드에 대한 추가적인 실험을 통해 일반화 가능성을 높일 필요가 있습니다.

PDF 보기

Made with Slashpage