본 논문은 분산 환경에서 여러 클라이언트의 지식 그래프(KG)로부터 개체 및 관계 임베딩을 협력적으로 학습하는 연합 지식 그래프 임베딩(FKGE)에 초점을 맞추고 있습니다. 고차원 임베딩은 성능 향상에 유리하지만 저장 공간 및 추론 속도 측면에서 어려움을 야기합니다. 기존 임베딩 압축 방법은 여러 번의 모델 훈련을 필요로 하여 FKGE의 통신 비용을 증가시키는 문제가 있습니다. 따라서 본 논문에서는 지식 증류(KD) 기반의 경량 구성 요소인 FedKD를 제안합니다. FedKD는 클라이언트 측 로컬 훈련 중에 저차원 학생 모델이 고차원 교사 모델의 삼중항 점수 분포를 KL 발산 손실을 사용하여 모방하도록 합니다. 기존 KD와 달리, FedKD는 양성 삼중항 점수에 대한 온도를 적응적으로 학습하고, 음성 삼중항 점수는 미리 정의된 온도를 사용하여 조정하여 교사의 과신 문제를 완화합니다. 또한, KD 손실의 가중치를 동적으로 조정하여 훈련 과정을 최적화합니다. 세 개의 데이터셋에 대한 광범위한 실험을 통해 FedKD의 효과를 검증했습니다.
