DP-FedPGN: Finding Global Flat Minima for Differentially Private Federated Learning via Penalizing Gradient Norm
Created by
- Haebom
Category
Empty
저자
Junkang Liu, Yuxuan Tian, Fanhua Shang, Yuanyuan Liu, Hongying Liu, Junchao Zhou, Daorui Ding
개요
본 논문은 연합 학습(FL)에서 추론 공격을 방지하고 민감한 정보 유출을 줄이기 위해 널리 사용되는 Client-level Differentially Private Federated Learning (CL-DPFL)의 성능 저하 문제를 해결하기 위해, global flat minimum을 찾는 새로운 CL-DPFL 알고리즘인 DP-FedPGN을 제안한다. DP-FedPGN은 global gradient norm penalty를 도입하여 모델의 global flat minimum을 찾고, gradient clipping의 오차를 줄인다. 이론적 분석을 통해 DP-FedPGN이 DP로 인한 성능 저하를 완화함을 보이며, 데이터 이질성의 영향을 제거하고 빠른 수렴을 달성한다. 또한 Renyi DP를 사용하여 엄격한 프라이버시 보장을 제공하고, 로컬 업데이트에 대한 민감도 분석을 제공한다. ResNet 및 Transformer 모델에 대한 실험을 통해 기존의 최첨단 알고리즘보다 시각 및 자연어 처리 작업에서 유의미한 성능 향상을 달성했다.
시사점, 한계점
•
시사점:
◦
CL-DPFL에서 차분 프라이버시 보호로 인한 모델 일반화 성능 저하 문제를 해결.
◦
Global flat minimum을 찾기 위한 DP-FedPGN 알고리즘 제안.
◦
Global gradient norm penalty를 통해 gradient clipping 오차 감소.
◦
이론적 분석을 통해 DP로 인한 성능 저하 완화 및 빠른 수렴 달성.
◦
Renyi DP를 사용한 엄격한 프라이버시 보장 및 민감도 분석 제공.
◦
다양한 시각 및 자연어 처리 작업에서 기존 알고리즘 대비 성능 향상 입증.
•
한계점:
◦
논문에서 구체적인 한계점은 명시되지 않음.
◦
알고리즘의 복잡성 및 계산 비용에 대한 언급이 부족할 수 있음.
◦
다양한 데이터셋 및 모델에 대한 일반화 성능 평가가 추가적으로 필요할 수 있음.
