Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Dataset Distillation-based Hybrid Federated Learning on Non-IID Data

Created by
  • Haebom

저자

Xiufang Shi, Wei Zhang, Mincheng Wu, Guangyi Liu, Zhenyu Wen, Shibo He, Tejal Shah, Rajiv Ranjan

개요

본 논문은 모바일 에지-클라우드 네트워크에서의 연합 학습(FL)의 과제인 통계적 이질성과 높은 통신 오버헤드를 해결하기 위해, 하이브리드 연합 학습 프레임워크인 HFLDD를 제안합니다. HFLDD는 데이터 증류를 통합하여 근사적으로 독립적이고 동일하게 분포된(IID) 데이터를 생성하여 모델 학습 성능을 향상시킵니다. 클라이언트를 이질적인 클러스터로 분할하여, 각 클러스터 내에서는 데이터 레이블이 불균형적이지만, 클러스터 간에는 균형을 이루도록 합니다. 클러스터 헤드는 해당 클러스터 멤버로부터 증류된 데이터를 수집하고 서버와 협력하여 모델 학습을 수행합니다. 이 과정은 IID 데이터에 대한 기존의 연합 학습과 유사하여 비-IID 데이터의 영향을 효과적으로 완화합니다. HFLDD의 수렴 동작, 통신 오버헤드 및 계산 복잡도에 대한 포괄적인 분석을 수행하고, 다양한 공개 데이터셋을 기반으로 한 광범위한 실험 결과를 통해 데이터 레이블이 심하게 불균형적인 경우, 제안된 HFLDD가 테스트 정확도와 통신 비용 측면에서 기준 방법보다 우수함을 보여줍니다.

시사점, 한계점

시사점:
데이터 불균형 문제를 가진 모바일 에지-클라우드 네트워크 환경에서의 연합 학습 성능 향상에 기여.
데이터 증류 기반의 하이브리드 연합 학습 프레임워크 HFLDD가 비-IID 데이터 문제를 효과적으로 완화하는 것을 실험적으로 검증.
테스트 정확도와 통신 비용 측면에서 기존 방법보다 우수한 성능을 보임.
한계점:
클러스터링 전략 및 데이터 증류 방법의 최적화에 대한 추가 연구 필요.
다양한 실제 환경 및 데이터셋에 대한 추가적인 실험 검증 필요.
HFLDD의 확장성 및 적용 가능한 네트워크 규모에 대한 추가적인 분석 필요.
👍