본 논문은 다양한 도메인에 걸친 사용자 상호작용에 적응해야 하는 개인화 추천 시스템을 위한 MoE-MLoRA(Mixture-of-Experts MLoRA) 프레임워크를 제안합니다. MoE-MLoRA는 각 전문가가 도메인별로 독립적으로 훈련된 후 게이팅 네트워크가 각 전문가의 기여도를 동적으로 가중치 부여하는 혼합 전문가 프레임워크입니다. Movielens와 Taobao 데이터셋에서 8가지 CTR 모델에 대해 MoE-MLoRA를 평가한 결과, 대규모 동적 데이터셋에서는 성능 향상을 보였지만(Taobao-20에서 +1.45 Weighed-AUC), 도메인 다양성과 희소성이 낮은 구조화된 데이터셋에서는 제한적인 이점만 제공하는 것으로 나타났습니다. 도메인당 전문가 수 분석 결과, 전문가 수가 많다고 항상 성능이 향상되는 것은 아니며, 모델 인식 조정의 필요성을 보여줍니다. 본 연구는 전문가 기반 아키텍처가 복잡한 환경에서 예측 정확도를 향상시킬 수 있음을 보여줍니다. 구현 및 코드는 GitHub 저장소에서 확인할 수 있습니다.
