FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling
Created by
Haebom
저자
Hong Huang, Hai Yang, Yuan Chen, Jiaxun Ye, Dapeng Wu
개요
연구는 분산 클라이언트에서 데이터 공유 없이 협업 모델 학습을 가능하게 하는 연합 학습(FL)의 높은 계산 및 통신 요구량 문제를 해결하기 위해 제안되었습니다. 기존의 동적 프루닝 방법들이 모델 토폴로지를 주기적으로 조정하여 효율성을 높이는 데 초점을 맞추었지만, 탐욕적인 조정, 불안정한 토폴로지, 비효율적인 통신 등의 문제로 데이터 이질성 및 부분적인 클라이언트 가용성 하에서 덜 강건한 모델과 최적이 아닌 성능을 초래했습니다. 본 연구에서는 이러한 문제를 해결하기 위해, 강건한 희소 모델을 개발하기 위한 새로운 프레임워크인 연합 강건 프루닝을 통한 조합 톰슨 샘플링(FedRTS)을 제안합니다. FedRTS는 톰슨 샘플링 기반 조정(TSAdj) 메커니즘을 통해 기존 방법의 불안정하고 근시안적인 정보에 의존하는 결정적 결정 대신 안정적이고 원시적인 정보에 의해 알려진 확률적 결정을 사용하여 강건성과 성능을 향상시킵니다. 광범위한 실험을 통해 FedRTS가 특히 이기종 데이터 분포와 부분적인 클라이언트 참여 시나리오에서 탁월한 성능을 발휘하면서 통신 비용을 줄이고 컴퓨터 비전 및 자연어 처리 작업에서 최첨단 성능을 달성함을 보여줍니다. 소스 코드는 https://github.com/Little0o0/FedRTS 에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
연합 학습의 효율성을 높이는 새로운 프레임워크인 FedRTS 제안.
◦
기존 동적 프루닝 방식의 한계점(탐욕적 조정, 불안정한 토폴로지, 비효율적인 통신)을 극복.
◦
톰슨 샘플링 기반 조정 메커니즘을 통해 데이터 이질성 및 부분 클라이언트 참여 환경에서 강건하고 높은 성능 달성.
