Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DPZV: Elevating the Tradeoff between Privacy and Utility in Zeroth-Order Vertical Federated Learning

Created by
  • Haebom

저자

Jianing Zhang, Evan Chen, Chaoyue Liu, Christopher G. Brinton

개요

본 논문은 특징이 분할된 데이터를 사용한 협업 학습을 가능하게 하는 수직 분산 학습(VFL)에서 기울기 전달을 통한 개인 정보 유출에 대한 취약성을 해결하는 새로운 접근 방식을 제시합니다. 기존의 차등적 개인 정보 보호(DP) 기술은 VFL의 분산 특성과 벡터 값 노이즈로 인한 높은 분산으로 인해 적용하기 어렵습니다. 본 논문에서는 튜닝 가능한 DP와 성능 보장을 달성하는 VFL을 위한 최초의 0차(ZO) 최적화 프레임워크인 DPZV를 제안합니다. DPZV는 서버에서 저분산 스칼라 노이즈를 주입하여 제한된 메모리 오버헤드로 제어 가능한 개인 정보 보호를 가능하게 합니다. 이론적 분석을 통해 DPZV가 1차 최적화 방법의 수렴 속도와 일치하면서 공식적인 ($\epsilon, \delta$)-DP 보장을 만족한다는 것을 보여줍니다. 이미지 및 언어 벤치마크에 대한 실험 결과, DPZV가 다양한 개인 정보 보호 제약 조건 ($\epsilon \le 10$) 하에서 여러 기준보다 정확도 측면에서 우수한 성능을 보임을 보여줍니다.

시사점, 한계점

•
시사점:
◦
수직 분산 학습(VFL)에서의 개인 정보 보호 문제에 대한 효과적인 해결책 제시.
◦
튜닝 가능한 차등적 개인 정보 보호(DP)를 달성하는 최초의 0차(ZO) 최적화 프레임워크인 DPZV 제안.
◦
저분산 스칼라 노이즈 주입을 통한 메모리 오버헤드 감소 및 제어 가능한 개인 정보 보호 달성.
◦
이론적 분석을 통해 1차 최적화 방법과 동일한 수렴 속도 및 공식적인 ($\epsilon, \delta$)-DP 보장을 입증.
◦
다양한 개인 정보 보호 제약 조건 하에서 기존 방법보다 우수한 정확도를 실험적으로 검증.
•
한계점:
◦
$\epsilon \le 10$ 의 제약 조건 하에서의 성능 평가로, 더욱 엄격한 개인 정보 보호 제약 조건 ($\epsilon < 10$) 에서의 성능은 추가적인 연구가 필요할 수 있음.
◦
특정 벤치마크 데이터셋에 대한 실험 결과만 제시되어, 다른 데이터셋이나 작업에 대한 일반화 가능성은 추가적인 검증이 필요함.
◦
0차 최적화 기반의 방법이 1차 최적화 기반의 방법에 비해 항상 효율적인 것은 아니므로, 성능 저하 가능성을 고려해야 함.
👍
Made with Slashpage