본 논문은 의료 분야에서의 연합 학습의 중앙 집중식 접근 방식의 한계점을 지적하고, 이를 해결하기 위한 분산형 연합 학습 프레임워크인 dFLMoE를 제안합니다. 기존의 중앙 집중식 연합 학습은 중앙 서버에 의존하며, 클라이언트의 지식이 서버에서 통합되는 과정에서 손실될 수 있다는 문제점을 가지고 있습니다. dFLMoE는 클라이언트 간에 경량화된 헤드 모델을 직접 교환하고, 각 클라이언트가 지역 모델과 수신된 모델을 전문가로 활용하여 클라이언트별 혼합 전문가(MoE) 접근 방식으로 의사 결정을 내립니다. 이를 통해 지식 손실을 줄이고 중앙 서버에 대한 의존성을 제거하여 시스템의 강건성을 향상시킵니다. 다양한 의료 과제에 대한 실험을 통해 제안된 방법이 기존 최첨단 방법보다 우수한 성능을 보임을 확인했습니다.