Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off
Created by
Haebom
Category
Empty
저자
Yuecheng Li, Lele Fu, Tong Wang, Jian Lou, Bin Chen, Lei Yang, Jian Shen, Zibin Zheng, Chuan Chen
개요
본 논문은 연합 학습에서 사용자 데이터의 개인 정보 유출을 방지하기 위해 차등적 개인 정보 보호(differential privacy)를 사용하는 기존 방법의 한계를 극복하고자, 클라이언트 간 협업을 기반으로 한 새로운 연합 학습 프레임워크인 FedCEO를 제안합니다. FedCEO는 서버에서 스택된 로컬 모델 파라미터에 효율적인 텐서 저차원 근사 최적화를 수행하여, 스펙트럼 공간에서 고주파 성분을 유연하게 잘라냄으로써 차등적 개인 정보 보호로 인한 모델 유용성 저하 문제를 해결합니다. 이를 통해 다양한 개인 정보 보호 설정과 지속적인 학습 과정에서 방해받은 의미 정보를 효과적으로 복구하고, 입력 차원 $d$에 대해 기존 최고 성능(SOTA)의 유용성-개인 정보 보호 트레이드오프 경계를 $\sqrt{d}$만큼 개선합니다. 실험 결과, 다양한 개인 정보 보호 설정 하에서 성능 향상과 엄격한 개인 정보 보호 보장을 보여줍니다.
시사점, 한계점
•
시사점:
◦
차등적 개인 정보 보호를 적용한 연합 학습에서 모델 유용성 저하 문제를 효과적으로 해결하는 새로운 프레임워크 제시.
◦
클라이언트 간 협업을 통해 개인 정보 보호와 모델 성능 간의 균형을 개선.
◦
기존 SOTA 대비 유용성-개인 정보 보호 트레이드오프 경계를 $\sqrt{d}$만큼 개선.
◦
다양한 데이터셋과 개인 정보 보호 설정에서 성능 향상과 엄격한 개인 정보 보호 보장을 실험적으로 검증.
