Zhou et al.과 Isik et al.이 제시한 training-by-pruning 패러다임을 활용하여 연합 학습 프로토콜을 제안합니다. 이 프로토콜은 통신 비용을 34배까지 줄이며, 기존 최고 성능 대비 몇 배에 달하는 압축 성능 향상을 달성합니다. 핵심 아이디어는 네트워크 가중치 벡터 $\vec w$를 훈련 가능한 매개변수 벡터 $\vec p$로 인코딩하는 것으로, $\vec w = Q \cdot \vec p$ 와 같이 표현됩니다. 여기서 $Q$는 신중하게 생성된 희소 랜덤 행렬(훈련 과정 동안 고정)입니다. 기존 Zhou et al. [NeurIPS'19]의 연구는 $Q$가 대각 행렬이고 $\vec p$의 차원이 $\vec w$와 같은 경우에 해당합니다. 본 연구에서는 $Q$의 희소성 감소를 감수하는 대신, $\vec p$의 차원을 $\vec w$보다 훨씬 작게 선택해도 동일한 정확도를 유지할 수 있음을 보입니다. 서버와 클라이언트는 $\vec p$만 공유하면 되므로, 이러한 절충은 통신 비용을 크게 절감합니다. 또한, 이 프레임워크에 대한 이론적 통찰력을 제공하고, 훈련-샘플링과 무작위 볼록 기하학 간의 새로운 연결을 확립합니다.
