Mixture of Cache-Conditional Experts for Efficient Mobile Device Inference
Created by
Haebom
저자
Andrii Skliar, Ties van Rozendaal, Romain Lepert, Todor Boinovski, Mart van Baalen, Markus Nagel, Paul Whatmough, Babak Ehteshami Bejnordi
개요
본 논문은 메모리 제약 환경에서 혼합 전문가(MoE) 대규모 언어 모델(LLM)의 효율적인 배포를 위한 새로운 캐시 인식 라우팅 전략을 제시합니다. 기존 MoE LLM은 각 입력에 대해 특정 전문가를 선택적으로 활용하여 성능을 향상시키지만, 특히 배치 크기가 1인 순차적 토큰 생성 시 메모리 제약 장치에서 배포하는 데 어려움이 있습니다. 본 연구에서는 DRAM에 일부 전문가 가중치만 적재할 수 있는 메모리 제약 장치에서 MoE를 최적화하기 위해, 토큰 생성 중 전문가 재사용을 활용하여 캐시 지역성을 개선하는 새로운 캐시 인식 라우팅 전략을 제안합니다. 언어 모델링, MMLU, GSM8K 벤치마크를 통해 모바일 장치에서 2배의 속도 향상을 보여주는 온디바이스 결과를 제시하며, 훈련이 필요 없는 유연한 솔루션으로 MoE의 실제 응용 분야 적용 범위를 확장합니다.
시사점, 한계점
•
시사점: 메모리 제약 환경에서 MoE LLM의 효율적인 배포 가능성을 제시하며, 모바일 장치와 같은 제한된 자원 환경에서도 MoE의 성능 향상을 실현할 수 있음을 보여줍니다. 훈련이 필요 없는 유연한 솔루션을 제공하여 실제 응용 분야 확장에 기여합니다. 온디바이스 성능 향상(2배 속도 향상)을 실험적으로 증명했습니다.
•
한계점: 제안된 캐시 인식 라우팅 전략의 일반성 및 다양한 MoE 구조에 대한 적용 가능성에 대한 추가 연구가 필요합니다. 특정 모바일 장치에 대한 결과만 제시되었으므로, 다른 하드웨어 플랫폼에 대한 일반화 가능성을 검증해야 합니다. 배치 크기 1에 국한된 실험 결과이므로, 더 큰 배치 크기에서의 성능은 추가적으로 평가되어야 합니다.
