MoE-SpAc: Efficient MoE Inference Based on Speculative Activation Utility in Heterogeneous Edge Scenarios

Created by

Haebom

저자

Shuhuai Li, Jianghao Lin, Dongdong Ge, Yinyu Ye

💡 개요

본 논문은 엣지 디바이스의 메모리 제약으로 인해 MoE 모델 추론에 어려움을 겪는 문제를 해결합니다. 이를 위해 추측적 디코딩(Speculative Decoding, SD)을 메모리 관리 및 전문가 수요 추적을 위한 센서로 활용하는 MoE-SpAc 프레임워크를 제안합니다. MoE-SpAc은 전문가 수요 예측, 동적 워크로드 분산, 비동기 실행 엔진을 통해 기존 방법 대비 효율적인 MoE 추론을 달성합니다.

🔑 시사점 및 한계

•

추측적 디코딩을 메모리 관리 및 전문가 수요 예측에 활용하여 MoE 모델의 엣지 디바이스 추론 효율성을 높일 수 있습니다.

•

동적 워크로드 분산 및 비동기 실행 엔진 통합을 통해 기존 SD 기반 기법 대비 상당한 성능 향상을 제공합니다.

•

다양한 벤치마크에서 SOTA SD 기반 베이스라인 대비 TPS 42% 향상 및 일반 베이스라인 대비 평균 4.04배의 속도 향상을 보여주었습니다.

•

이론적 및 경험적 분석을 통해 제안된 방법론의 효과를 입증했습니다.

PDF 보기

Made with Slashpage