Painless Federated Learning: An Interplay of Line-Search and Extrapolation
Created by
- Haebom
Category
Empty
저자
Geetika, Somya Tyagi, Bapi Chatterjee
개요
본 논문은 확률적 경사 하강법(SGD) 알고리즘에서 학습률(LR) 조정을 위한 고전적인 라인 서치가 데이터 샘플링 노이즈로 인한 수렴 둔화를 완화할 수 있다는 점에 착안하여, 클라이언트 이질성이 전역 수렴을 둔화시키는 연합 학습 환경에 라인 서치를 적용하는 방법을 연구한다. FedSLS(Federated Stochastic Line Search) 알고리즘을 제안하여 클라이언트 로컬 기울기 노이즈뿐만 아니라 연합 최적화의 이질성까지 완화하며, 기대값에서 결정론적 속도를 달성함을 보인다. 특히, FedSLS는 부분적인 클라이언트 참여에도 강하게 볼록한 목적 함수에 대해 선형 수렴을 제공한다. 또한, 서버의 LR 외삽법을 활용하여 연합 학습의 성능을 향상시키기 위해 FedSLS를 FedExpSLS(Federated Extrapolated Stochastic Line Search)로 확장하고 수렴성을 증명한다. 제안된 방법들은 다양한 볼록 및 비볼록 문제에서 기존 연합 학습 알고리즘과 동등하거나 더 나은 성능을 보인다.
시사점, 한계점
•
시사점:
◦
FedSLS 및 FedExpSLS 알고리즘 제안으로 연합 학습 환경에서 클라이언트 이질성 및 노이즈 완화 가능성 제시.
◦
부분적인 클라이언트 참여에도 강하게 볼록한 목적 함수에 대해 선형 수렴 보장.
◦
서버 LR 외삽법을 통합하여 성능 향상.
◦
다양한 문제에 대한 우수한 empirical 성능 입증.
•
한계점:
◦
논문에서 구체적인 한계점 언급되지 않음. (논문 내용을 바탕으로 추론하기 어려움)
