본 논문은 기존 중앙 집중식 연합 학습의 한계점을 해결하기 위해 분산 연합 학습 프레임워크인 dFLMoE를 제안합니다. 기존 방식은 중앙 서버에 의존하여 학습 안정성이 떨어지고, 중앙 집중적 지식 통합 과정에서 지식 손실이 발생하는 문제점이 있습니다. dFLMoE는 클라이언트 간에 경량의 헤드 모델을 직접 교환하고, 각 클라이언트는 지역 및 수신된 헤드 모델을 전문가로 활용하여 클라이언트 특정 Mixture of Experts (MoE) 방식으로 의사 결정을 수행합니다. 이를 통해 지식 손실을 줄이고 중앙 서버 의존성을 제거하여 강건성을 높입니다. 여러 의료 과제에 대한 실험 결과, 모델의 동질성 및 이질성 설정 모두에서 기존 최첨단 기법보다 우수한 성능을 보임을 확인했습니다.
