본 논문은 대규모 언어 모델(LLM)을 지속적인 작업 흐름에 적응시키는 문제를 해결하기 위해, 최소한의 망각과 효율적인 확장성을 갖춘 새로운 지속 학습 프레임워크인 \textit{Mixtures of SubExperts (MoSEs)}를 제안합니다. MoSEs는 변환기 레이어에 희소 Mixture of SubExperts를 통합하고 작업별 라우팅 메커니즘을 사용하여 지식을 격리하고 보호하여 매개변수 간섭 및 치명적인 망각을 최소화합니다. 또한, 라우터는 새로운 작업을 위해 이전에 학습된 희소 매개변수를 적응적으로 선택하고 결합하여 효과적인 지식 전달을 가능하게 하며, 모델 용량이 서브선형적으로 증가하도록 보장합니다. TRACE 벤치마크 데이터셋에서 MoSEs를 평가한 결과, MoSEs는 기존의 지속 학습 방식보다 지식 유지 및 새로운 작업에 대한 확장성 모두에서 우수한 성능을 보였으며, 상당한 메모리 및 계산 절감 효과와 함께 최첨단 성능을 달성했습니다.
