최근 대규모 인공지능 모델(LAM)의 발전은 차세대 무선 네트워크 내 모바일 엣지 컴퓨팅 분야에서 혁신을 이끌고 있다. 그러나 LAM을 훈련하는 데 필요한 막대한 계산 자원과 대규모 훈련 데이터는 엣지 장치의 제한된 저장 및 계산 능력과 충돌하여 엣지에서 LAM을 훈련하고 배포하는 데 상당한 어려움을 야기한다. 본 연구에서는 클라이언트가 전문성에 따라 적합한 이웃에게 작업을 분배하고 반환된 결과를 집계하여 협업적으로 추론하는 Networked Mixture-of-Experts (NMoE) 시스템을 소개한다. NMoE를 훈련하기 위해, 통신 효율성과 데이터 개인 정보를 유지하면서 개인화와 일반화를 균형 있게 유지하는 지도 학습과 자기 지도 학습을 통합한 연합 학습 프레임워크를 제안한다. 제안된 NMoE 시스템의 효과를 입증하기 위해 광범위한 실험을 수행하여 NMoE 훈련 알고리즘에 대한 통찰력과 벤치마크를 제공한다.
시사점, 한계점
•
NMoE 시스템을 통해 엣지 환경에서 LAM 훈련 및 배포의 어려움을 해결하는 새로운 접근 방식 제시
•
연합 학습 프레임워크를 통해 개인 정보 보호 및 통신 효율성을 유지하면서 모델의 개인화와 일반화 균형 달성
