Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MoE-MLoRA for Multi-Domain CTR Prediction: Efficient Adaptation with Expert Specialization

Created by
  • Haebom

저자

Ken Yaggel, Eyal German, Aviel Ben Siman Tov

개요

본 논문은 다양한 도메인에 걸친 사용자 상호작용에 적응해야 하는 개인화 추천 시스템을 위한 MoE-MLoRA(Mixture-of-Experts MLoRA) 프레임워크를 제안합니다. MoE-MLoRA는 각 전문가 모델을 도메인별로 독립적으로 훈련한 후, 게이팅 네트워크를 통해 각 전문가의 기여도를 동적으로 가중합하는 방식입니다. Movielens와 Taobao 데이터셋에서 8가지 CTR 모델에 대한 평가 결과, 대규모 동적 데이터셋에서 성능 향상을 보였으나(Taobao-20에서 +1.45 Weighed-AUC), 도메인 다양성과 희소성이 낮은 구조화된 데이터셋에서는 제한적인 이점만을 제공했습니다. 도메인당 전문가 수에 대한 추가 분석을 통해, 전문가 수 증가가 항상 성능 향상으로 이어지지는 않음을 확인하여 모델별 최적화의 필요성을 시사합니다.

시사점, 한계점

시사점:
다양한 도메인의 사용자 행동에 효과적으로 적응하는 개인화 추천 시스템 구축 가능성 제시
대규모 동적 데이터셋에서 기존 MLoRA보다 향상된 성능 달성
도메인별 전문가 모델 특화 및 적응적 게이팅을 통한 예측 정확도 향상 가능성 확인
GitHub 레포지토리 공개를 통한 재현성 및 확장성 제공
한계점:
도메인 다양성과 희소성이 낮은 구조화된 데이터셋에서는 성능 향상이 제한적임
도메인당 전문가 수의 최적값은 데이터셋 및 모델에 따라 달라짐 (모델별 최적화 필요)
전문가 수 증가가 항상 성능 향상으로 이어지지 않음
👍