Does Mixture-of-Experts Actually Help Inference on Consumer and Edge Hardware? An Empirical Study

작성자

Haebom

카테고리

Empty

저자

Alfarizy Alfarizy, Hung Truong Thanh Nguyen, Rene Richard, Roozbeh Razavi-Far, Hung Cao

💡 개요

이 연구는 Mixture-of-Experts (MoE) 모델이 소비자용 및 엣지 하드웨어에서 실제로 더 빠르고 효율적인 추론을 제공하는지 실증적으로 분석합니다. LLM 추론 시 각 토큰이 일부 전문가만 활성화하여 연산 비용을 절감한다는 MoE의 이론적 이점이 실제 환경에서 얼마나 유지되는지를 측정했습니다. 연구 결과, MoE의 장점은 장치에 따라 다르며, 특히 엣지 디바이스에서는 메모리 대역폭의 제약으로 인해 총 파라미터 수가 추론 비용을 결정하는 요인이 되어 이론적인 이점이 상당 부분 상실됨을 보여줍니다.

🔑 시사점 및 한계

•

MoE 모델의 추론 성능은 하드웨어의 메모리 대역폭과 같은 병목 현상에 크게 영향을 받으며, 이론적인 FLOPs 이점이 반드시 실제 성능 향상으로 이어지지는 않습니다.

•

엣지 디바이스와 같이 메모리 대역폭이 제한적인 환경에서는 MoE의 스파스 활성화가 추론 비용 절감에 미치는 영향이 미미하며, 총 파라미터 수가 더 중요한 고려 사항이 될 수 있습니다.

•

본 연구는 특정 MoE 모델과 두 종류의 하드웨어만을 대상으로 하므로, 다른 모델 아키텍처, 파라미터 규모, 하드웨어 환경에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage