EASTER: Embedding Aggregation-based Heterogeneous Models Training in Vertical Federated Learning
Created by
Haebom
저자
Shuo Wang, Keke Gai, Jing Yu, Liehuang Zhu, Kim-Kwang Raymond Choo, Bin Xiao
개요
본 논문은 수직 분산 학습(VFL)에서 참여자 간의 이종적인 지역 모델로 인한 최적화 수렴 및 일반화 문제를 해결하기 위해 새로운 접근 방식인 VFedMH(Vertical Federated Learning for training Multiple Heterogeneous models)를 제안합니다. VFedMH는 순전파 과정에서 각 참여자의 지식에 대한 지역 임베딩을 집계하는 데 중점을 둡니다. 참여자의 지역 임베딩 값을 보호하기 위해 경량 블라인딩 팩터 기반의 임베딩 보호 방법을 제안합니다. 수동 파티는 블라인딩 팩터를 지역 임베딩에 주입하여 능동 파티에 전송하고, 능동 파티는 지역 임베딩을 집계하여 전역 지식 임베딩을 얻은 후 수동 파티에 전송합니다. 수동 파티는 전역 임베딩을 사용하여 자신의 지역 이종 네트워크에서 순전파를 수행합니다. 수동 파티는 샘플 레이블을 소유하지 않으므로 지역 모델 경사도를 로컬에서 계산할 수 없다는 한계를 능동 파티가 지역 이종 모델 경사도 계산을 지원함으로써 해결합니다. 각 참여자는 이종 모델 경사도를 사용하여 자신의 지역 모델을 학습하며, 목표는 각각의 지역 이종 모델의 손실 값을 최소화하는 것입니다. 광범위한 실험을 통해 VFedMH가 이종 최적화를 사용하여 여러 이종 모델을 동시에 학습하고 일부 최신 방법보다 모델 성능이 우수함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
수직 분산 학습 환경에서 이종적인 지역 모델을 효과적으로 학습할 수 있는 새로운 방법론 제시.
