FedMuon: Accelerating Federated Learning with Matrix Orthogonalization
Created by
- Haebom
Category
Empty
저자
Junkang Liu, Fanhua Shang, Junchao Zhou, Hongying Liu, Yuanyuan Liu, Jin Liu
개요
Federated Learning (FL)의 주요 병목 현상은 통신 라운드에 있으며, 이를 줄이기 위해 보다 효과적인 로컬 업데이트가 중요합니다. 기존 FL 방법은 원소별 로컬 최적화기(Adam/SGD)를 사용하여 가중치 행렬의 기하학적 구조를 간과합니다. 본 논문에서는 행렬 구조화된 매개변수를 최적화하기 위해 행렬 직교화를 수행하는 Muon 최적화기를 로컬에 도입합니다. IID 환경에서 Local Muon은 Local SGD 및 Local AdamW보다 FL의 수렴 속도를 크게 향상시키고 통신 라운드를 줄입니다. 그러나 non-IID 환경에서는 각 클라이언트의 로컬 분포에 기반한 독립적인 행렬 직교화가 클라이언트 드리프트를 유발합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 (1) 클라이언트가 집계된 모멘텀을 로컬 초기화에 사용하는 모멘텀 집계와 (2) 클라이언트 드리프트를 줄이기 위해 로컬 기울기를 글로벌 업데이트 방향에 정렬하는 로컬-글로벌 정렬을 포함하는 새로운 Federated Muon 최적화기(FedMuon)를 제안합니다. FedMuon은 이질성 가정 없이 선형 속도 향상 수렴 속도를 달성합니다. 실험 결과는 FedMuon이 언어 및 비전 모델에서 여러 baseline보다 통신 라운드를 크게 줄이고 테스트 정확도를 향상시킴을 보여줍니다.
시사점, 한계점
•
시사점:
◦
Local Muon은 IID 환경에서 FL 수렴 속도를 향상시킵니다.
◦
FedMuon은 non-IID 환경에서 클라이언트 드리프트를 줄이는 모멘텀 집계 및 로컬-글로벌 정렬 기술을 활용합니다.
◦
FedMuon은 이질성 가정 없이 선형 속도 향상 수렴 속도를 달성합니다.
◦
FedMuon은 언어 및 비전 모델에서 통신 라운드를 줄이고 테스트 정확도를 향상시킵니다.
•
한계점:
◦
Local Muon은 non-IID 환경에서 클라이언트 드리프트 문제를 겪습니다.
◦
FedMuon은 IID 환경에서의 성능 비교에 대한 내용이 부족합니다.
◦
이 논문에서 다루는 FedMuon의 구체적인 구현 세부 사항과 하이퍼파라미터 설정에 대한 정보가 부족합니다.
