본 논문은 자원 제약 환경에서의 혼합 전문가(MoE) 대규모 언어 모델(LLM) 추론 시스템인 MoE-Lens를 제시합니다. 기존 MoE LLM은 매개변수 크기가 커서 자원 제약 환경에서 배포하는 데 어려움이 있었으며, CPU-GPU 하이브리드 실행 방식을 사용하더라도 자원 활용을 최적화하는 데 한계가 있었습니다. MoE-Lens는 CPU 메모리 용량, GPU 연산 성능, 작업 특성 등을 포괄적으로 분석하는 성능 모델을 통해 이러한 문제를 해결합니다. 이 모델은 하드웨어 병목 현상을 파악하고 달성 가능한 처리량을 정확하게 예측하여 하드웨어 한계에 근접하는 추론 시스템을 구축합니다. 다양한 MoE 모델과 데이터셋을 사용한 평가 결과, MoE-Lens는 기존 최고 성능 시스템보다 평균 4.6배(최대 25.5배) 향상된 성능을 보였으며, 이론적 모델은 성능을 평균 94%의 정확도로 예측했습니다.
