Mixture-of-Experts (MoE) Large Language Models (LLMs)의 효율적인 확장을 위해, 본 논문은 정확하고 가벼운 전문가 사전 페치를 위한 pre-attention expert prediction 기법을 제안한다. 기존 방법의 낮은 정확도와 첫 번째 레이어 최적화 부재 문제를 해결하기 위해, 간단한 선형 함수와 ranking-aware loss를 활용하여 attention 블록 이전의 활성화를 기반으로 전문가를 예측한다. 제안하는 기법은 DeepSeek V2 Lite, Qwen3-30B, Phi-mini-MoE 모델에서 93.03%, 94.69%, 97.62%의 정확도를 달성하며, 기존 최고 기법보다 약 15%의 절대 정확도 향상을 보였다.
