Sign In

SEAFL: Enhancing Efficiency in Semi-Asynchronous Federated Learning through Adaptive Aggregation and Selective Training

Created by
  • Haebom
Category
Empty

저자

Md Sirajul Islam, Sanjeev Panta, Fei Xu, Xu Yuan, Li Chen, Nian-Feng Tzeng

개요

본 논문은 연합 학습(FL)에서 느린 속도의 장치(stragglers)로 인한 비효율적인 훈련 문제를 해결하기 위해 새로운 FL 프레임워크인 SEAFL을 제시합니다. 기존의 동기식 FL의 비효율성과 비동기식 FL의 시스템 오버헤드 및 모델 저하 문제를 해결하기 위해, SEAFL은 반비동기 방식을 채택하여 업로드된 모델의 중요도와 오래됨을 기반으로 가중치를 동적으로 할당합니다. 또한 느린 장치에서 부분 훈련을 허용하는 확장된 변형을 통해 훈련 효율성을 높이고, 세 가지 벤치마크 데이터셋을 사용한 실험을 통해 SEAFL의 효과를 입증합니다. 실험 결과, SEAFL은 기존 방법보다 최대 22%의 벽시계 훈련 시간 단축 효과를 보였습니다.

시사점, 한계점

시사점:
연합 학습에서 stragglers 문제와 낡은 모델 문제를 동시에 해결하는 효과적인 방법 제시.
모델의 오래됨과 중요도를 고려한 동적 가중치 할당 전략을 통해 성능 향상.
부분 훈련을 통한 느린 장치의 효율적인 참여 및 훈련 시간 단축.
실험을 통해 성능 향상을 검증.
한계점:
제안된 방법의 실제 환경 적용 가능성에 대한 추가적인 연구 필요.
다양한 종류의 stragglers와 네트워크 환경에 대한 추가적인 실험 필요.
SEAFL의 가중치 할당 전략의 최적화에 대한 추가 연구 필요.
👍