Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Unified Convergence Analysis for Semi-Decentralized Learning: Sampled-to-Sampled vs. Sampled-to-All Communication

Created by
  • Haebom
Category
Empty

저자

Angelo Rodio, Giovanni Neglia, Zheng Chen, Erik G. Larsson

개요

반중앙집중형 연합 학습에서 장치 간 통신을 기본으로 하면서 중앙 서버와 가끔 상호 작용합니다. 주기적으로, 샘플링된 장치 하위 집합이 로컬 모델을 서버에 업로드하고 서버는 집계된 모델을 계산합니다. 서버는 (i) 이 집계된 모델을 샘플링된 클라이언트와만 공유(S2S, sampled-to-sampled)하거나 (ii) 모든 클라이언트에 브로드캐스트(S2A, sampled-to-all)할 수 있습니다. 두 전략의 엄격한 이론적, 경험적 비교가 부족하여, 본 연구는 S2S와 S2A를 통합된 수렴 프레임워크 내에서 분석합니다. 분석 및 실험 결과는 데이터 이질성에 따라 한 전략이 다른 전략보다 우수한 특정 영역을 보여줍니다. 이 연구는 실용적인 반중앙집중형 연합 학습 배포에 대한 구체적인 설계 지침을 제시합니다.

시사점, 한계점

S2S와 S2A 전략의 이론적 및 경험적 비교 수행.
샘플링률, 서버 집계 빈도, 네트워크 연결성을 포함하는 통일된 수렴 프레임워크를 개발.
데이터 이질성에 따라 S2S 및 S2A의 성능이 달라지는 것을 발견.
실용적인 반중앙집중형 FL 배포를 위한 설계 지침 제시.
논문의 구체적인 한계점은 명시되지 않음.
👍