Mixture-of-Experts (MoE) 아키텍처는 각 입력 토큰에 대해 전문화된 전문가 네트워크의 하위 집합만 활성화하여 언어 모델을 확장한다. 이는 부동 소수점 연산 수를 줄인다. 그러나 현대 MoE 모델의 크기가 커짐에 따라 전체 매개변수 집합이 GPU 메모리 용량을 초과한다. 예를 들어, Mixtral-8x7B는 450억 개의 매개변수를 가지고 있으며, 토큰당 140억 개의 매개변수만 사용하더라도 87GB의 메모리가 필요하다. 기존 시스템은 비활성 전문가를 CPU 메모리로 오프로드하여 이러한 제한을 완화하지만, PCIe 상호 연결을 통해 전문가를 전송하는 데 상당한 지연 시간(약 10ms)이 발생한다. 프리페칭 휴리스틱은 필요한 전문가를 예측하여 이 지연 시간을 숨기려고 하지만, 프리페치 실패는 상당한 지연을 발생시키고 추론 지연 시간을 증폭시킨다. 프리페치 실패 시, 기존 연구는 두 가지 주요 솔루션을 제공한다: PCIe 병목 현상으로 인해 긴 지연이 발생하는 전문가를 온디맨드로 가져오거나, 모델 정확도를 크게 저하시키는 계산에서 전문가를 삭제한다. 따라서, 핵심적인 과제는 프리페칭 실패 시에도 높은 추론 속도와 모델 정확도를 모두 유지하는 것이다.
