본 논문은 대규모 언어 모델의 파라미터 효율적인 미세 조정 기법인 LoRA의 성능 향상을 위해 Mixture of Experts (MoE) 개념을 도입한 새로운 방법인 Mixture of Routers (MoR)을 제안합니다. 기존 MoE의 라우팅 메커니즘의 한계점 (잘못된 할당 및 불균형 전문가 배분)을 Redundancy and Fault Tolerance Theory를 기반으로 개선하여, 여러 개의 서브 라우터를 사용하고 학습 가능한 메인 라우터를 통해 서브 라우터의 가중치를 결정하는 구조를 제시합니다. 실험 결과, MoR은 기존 모델들에 비해 대부분의 작업에서 평균 1% 향상된 성능을 보였으며, 다양한 응용 분야에 적용 가능한 플러그 앤 플레이 방식의 파라미터 효율적인 미세 조정 방법으로 활용될 수 있음을 보여줍니다.
