DPZV: Resource Efficient ZO Optimization For Differentially Private VFL
Created by
- Haebom
Category
Empty
저자
Jianing Zhang, Evan Chen, Chaoyue Liu, Christopher G. Brinton
개요
본 논문은 수직 분할된 데이터에서의 협업 모델 학습을 가능하게 하는 수직 연합 학습(VFL)의 프라이버시 위험과 확장성 문제를 해결하기 위해, 차등 프라이버시(DP)를 통합한 메모리 효율적인 영차(ZO) 최적화 프레임워크인 DPZV를 제안한다. DPZV는 기울기 누출로 인한 프라이버시 취약성, 1차 방법의 높은 계산/통신 비용, 기존 영차 접근 방식의 과도한 메모리 사용량이라는 세 가지 주요 과제를 해결한다. 두 점 기울기 추정을 통해 역전파를 제거하여 1차 방법에 비해 클라이언트 메모리 사용량을 90% 줄이고 비동기 통신을 가능하게 한다. 서버에 가우시안 노이즈를 전략적으로 주입하여 제3자 신뢰 가정 없이 엄격한 $(\epsilon, \delta)$-DP 보장을 달성한다. 이론적 분석을 통해 비볼록 목적 함수 하에서 중앙 집중식 사례와 일치하는 수렴 속도를 확립한다. 이미지 및 NLP 벤치마크에 대한 광범위한 실험을 통해 DPZV가 모든 기준 모델보다 정확도가 우수하고 강력한 프라이버시 보장 ($\epsilon \leq 10$)을 제공하며 훨씬 적은 계산 자원을 필요로 함을 보여주어 자원 제약이 있는 VFL 배포를 위한 최첨단 프라이버시-유틸리티 절충안을 제시한다.
시사점, 한계점
•
시사점:
◦
수직 연합 학습(VFL)에서 프라이버시와 효율성 문제를 동시에 해결하는 새로운 프레임워크 DPZV 제시
◦
메모리 사용량을 획기적으로 줄이고 비동기 통신을 지원하여 자원 제약 환경에서의 VFL 적용 가능성 확대
◦
엄격한 차등 프라이버시 보장을 제공하면서 높은 정확도 달성
◦
기존 방법 대비 향상된 프라이버시-유틸리티 절충안 제시
•
한계점:
◦
제안된 알고리즘의 실제 적용에 대한 추가적인 연구 필요
◦
다양한 실제 데이터셋 및 응용 분야에 대한 추가적인 실험 필요
◦
$\epsilon$ 값의 적절성에 대한 추가적인 논의 필요 ( $\epsilon \leq 10$ 이 모든 상황에서 충분한 프라이버시를 보장하는지에 대한 추가 분석 필요)
◦
특정 노이즈 추가 전략의 한계점 및 개선 가능성에 대한 추가적인 연구 필요
