본 논문은 다양한 자연어 처리 작업에서 주목할 만한 성공을 거둔 대규모 언어 모델(LLM)의 지시 기반 미세 조정에 초점을 맞추고 있습니다. Mixture of LoRA Experts (MoLE)와 같은 매개변수 효율적인 미세 조정(PEFT) 방법은 Low-Rank Adaptation (LoRA)의 효율성과 Mixture of Experts (MoE) 모델의 다양성을 결합하여 여러 하위 작업을 처리하는 데 상당한 잠재력을 보여줍니다. 하지만 기존 MoLE의 라우팅 메커니즘은 종종 계산 효율과 예측 정확도 사이에서 절충을 필요로 하며, 서로 다른 트랜스포머 계층에 걸친 다양한 전문가 선택 요구를 완전히 해결하지 못합니다. 이 연구에서는 라우터의 확률 분포의 Tsallis 엔트로피를 기반으로 전문가 선택을 동적으로 조정하는 하이브리드 라우팅 전략인 DynMoLE을 제안합니다. 이 방법은 라우터의 불확실성을 완화하고, 안정성을 향상시키며, 보다 공정한 전문가 참여를 촉진하여 더 빠른 수렴과 향상된 모델 성능으로 이어집니다. 또한 Tsallis 엔트로피를 기반으로 하는 보조 손실을 도입하여 불확실성을 줄이고 수렴을 유도함으로써 훈련 안정성과 성능을 향상시킵니다. 상식 추론 벤치마크에 대한 광범위한 실험을 통해 DynMoLE이 LoRA보다 9.6%, 최첨단 MoLE 방법인 MoLA보다 2.3% 향상된 성능을 달성함을 보여줍니다. 또한 DynMoLE의 핵심 구성 요소의 기여도를 평가하기 위한 포괄적인 ablation study를 수행합니다.
