Convergence Analysis of Federated Learning Methods Using Backward Error Analysis
Created by
- Haebom
Category
Empty
저자
Jinwoo Lim, Suhyun Kim, Soo-Mook Moon
개요
본 논문은 비IID 데이터 분포에서 다양한 연합 학습 알고리즘에 대한 암묵적 정규화항을 찾고, 각 알고리즘의 상이한 수렴 행동의 원인을 설명하고자 한다. 역 오차 분석을 통해 최적화 방법의 영향 하에 매개변수 업데이트가 실제로 따르는 수정된 손실 함수를 찾고, 이 수정된 함수에 포함된 추가 손실 항을 암묵적 정규화항이라 정의한다. FedAvg의 암묵적 정규화항이 각 클라이언트의 기울기를 평균 기울기로부터 분산시켜 기울기 분산을 증가시킨다는 것을 보이고, 경험적으로 이것이 수렴을 방해함을 보인다. 유사하게 FedSAM과 SCAFFOLD의 암묵적 정규화항을 계산하고, 이들이 더 잘 수렴하는 이유를 설명한다. 기존 수렴 분석이 FedSAM과 SCAFFOLD의 장점을 제시하는 데 집중한 반면, 본 논문의 접근 방식은 복잡한 비볼록 설정에서의 한계를 설명할 수 있다. 특히, FedSAM은 FedAvg의 암묵적 정규화항의 1차 항의 편향을 부분적으로 제거할 수 있는 반면, SCAFFOLD는 1차 항의 편향을 완전히 제거할 수 있지만 2차 항의 편향은 제거할 수 없음을 보인다. 따라서 암묵적 정규화항은 연합 학습의 수렴 행동에 대한 이론적 관점에서 유용한 통찰력을 제공한다.
시사점, 한계점
•
시사점:
◦
연합 학습 알고리즘의 수렴 행동에 대한 새로운 이론적 관점을 제공한다.
◦
FedAvg, FedSAM, SCAFFOLD의 암묵적 정규화항을 분석하여 각 알고리즘의 수렴 특성을 설명한다.
◦
FedSAM과 SCAFFOLD의 장점과 한계를 암묵적 정규화항을 통해 명확히 보여준다.
•
한계점:
◦
분석은 비볼록 설정에 대한 제한적인 설명만 제공한다.
◦
실험 결과는 특정 데이터셋과 알고리즘 설정에 국한될 수 있다.
◦
더욱 복잡한 연합 학습 알고리즘에 대한 암묵적 정규화항 분석이 필요하다.
