본 논문은 기존 중앙 집중식 연합 학습의 한계점을 극복하기 위해 분산형 연합 학습 프레임워크인 dFLMoE를 제안합니다. dFLMoE는 클라이언트 간에 경량 헤드 모델을 직접 교환하여 중앙 서버에 대한 의존성을 제거하고, 각 클라이언트는 지역 및 수신된 헤드 모델을 전문가로 취급하여 클라이언트 특유의 전문가 혼합(MoE) 접근 방식을 사용하여 집단적인 의사 결정을 합니다. 이를 통해 중앙 집중식 통합으로 인한 지식 손실을 줄이고, 서버 장애나 불안정한 연결에 대한 영향을 최소화합니다. 다양한 의료 과제에 대한 실험 결과, dFLMoE는 모델의 동질성과 이질성 설정 모두에서 최첨단 접근 방식을 능가하는 성능을 보여줍니다.
시사점, 한계점
•
시사점:
◦
중앙 서버에 대한 의존성을 제거하여 연합 학습의 안정성 및 견고성을 향상시켰습니다.
◦
클라이언트 특유의 MoE 접근 방식을 통해 중앙 집중식 통합으로 인한 지식 손실을 감소시켰습니다.
