Enhancing DPSGD via Per-Sample Momentum and Low-Pass Filtering
Created by
Haebom
Category
Empty
저자
Xincheng Xu, Thilina Ranbaduge, Qing Wang, Thierry Rakotoarivelo, David Smith
개요
본 논문은 차등 프라이버시(DP)를 보장하며 딥 뉴럴 네트워크를 학습시키는 데 널리 사용되는 차등 프라이버시 확률적 경사 하강법(DPSGD)의 정확도 저하 문제를 해결하기 위해, DP 노이즈와 클리핑 바이어스를 동시에 완화하는 새로운 방법인 DP-PMLF를 제안한다. DP-PMLF는 샘플별 모멘텀과 저역 통과 필터링 전략을 통합하여 샘플링 분산을 줄이고 추가적인 프라이버시 예산을 소모하지 않고 고주파 DP 노이즈를 감쇠시킨다. 이론적 분석과 실험적 평가를 통해 DP-PMLF가 기존 DPSGD 변형 기법 대비 향상된 성능을 보임을 입증한다.
시사점, 한계점
•
시사점:
◦
DP-PMLF는 DP 노이즈와 클리핑 바이어스를 동시에 완화하여 DPSGD의 정확도 저하 문제를 개선한다.
◦
샘플별 모멘텀과 저역 통과 필터링을 결합하여 프라이버시 보존 학습의 성능을 향상시켰다.
◦
이론적 분석을 통해 향상된 수렴 속도를 보장하고, 실제 실험을 통해 SOTA 기법과의 비교 우위를 입증했다.
