본 논문은 다양한 하위 작업을 처리하기 위한 표준 접근 방식으로 자리 잡은 사전 훈련-미세 조정 패러다임의 한계를 해결하기 위해, LoRA-SMoE (A Sensitivity-Driven Expert Allocation Method in LoRA-MoE for Efficient Fine-Tuning) 라는 새로운 방법을 제안합니다. 기존 Mixture-of-Experts (MoE) 방법의 파라미터 수 증가 및 훈련 시간 증가 문제를 해결하기 위해, 작은 데이터 샘플과 기울기 정보를 이용하여 각 작업에 대한 파라미터 민감도를 빠르게 평가하고, 주어진 예산 내에서 전문가 수를 적응적으로 할당하는 방법을 제시합니다. LoRA (Low-Rank Adaptation)와 유사한 메모리 소비량을 유지하면서 효율적이고 자원 친화적인 미세 조정 절차를 보장하며, 실험 결과 기존 최첨단 미세 조정 방법보다 성능을 향상시키고 훈련 가능한 파라미터 수를 줄이는 것을 보여줍니다. 특히 제한된 계산 자원 환경에서 모델 성능을 크게 향상시키며, 효율적인 파라미터 민감도 평가 메커니즘 덕분에 전문가 할당 최적화에 필요한 계산 오버헤드가 최소화됩니다.
