Mosaic은 모델 및 데이터 이질성이 존재하는 분산 환경에서의 연합 학습(Federated Learning, FL)의 성능을 향상시키기 위한 새로운 데이터 없는 지식 증류 프레임워크입니다. 각 클라이언트의 개인화된 데이터 분포를 근사하는 지역 생성 모델을 훈련하여 개인 정보를 보호하면서 합성 데이터를 생성합니다. 이 합성 데이터를 사용하여 클라이언트 모델들을 기반으로 Mixture-of-Experts (MoE)를 구성하고, 이를 전역 모델로 증류합니다. 또한, 몇몇 대표적인 프로토타입을 사용하여 훈련된 경량 메타 모델을 통합하여 MoE 아키텍처를 향상시킵니다. 표준 이미지 분류 벤치마크에 대한 광범위한 실험을 통해, Mosaic이 모델 및 데이터 이질성 하에서 최첨단 접근 방식을 꾸준히 능가함을 보여줍니다. 소스 코드는 https://github.com/Wings-Of-Disaster/Mosaic 에서 공개되었습니다.
