본 논문은 대규모 기초 모델의 막대한 계산 요구량을 해결하기 위해 재훈련 없이 활성화 인식 압축 기법을 제시합니다. 기존 기법들은 보정 데이터에 의존하여 알려지지 않은 하위 작업에 대해 도메인 이동 문제가 발생할 수 있으나, 본 논문에서 제안하는 방법은 계산 효율적인 보정을 통해 프롬프트에 따라 활성화 인식 가지치기를 적응적으로 수행하여 추론 시 복잡성을 줄입니다. 이는 마이크로 전문가들의 혼합물로 공식화되며, $\mu$-MoE라 명명됩니다. 실험 결과 $\mu$-MoE는 작업/프롬프트에 따라 구조화된 희소성에 동적으로 적응할 수 있음을 보여줍니다.
