Bài báo này tập trung vào Federated Knowledge Graph Embedding (FKGE), một phương pháp học cộng tác các nhúng thực thể và quan hệ từ các đồ thị tri thức (KG) của nhiều máy khách trong môi trường phân tán. Các nhúng chiều cao mang lại lợi thế về hiệu suất nhưng lại đặt ra những thách thức về không gian lưu trữ và tốc độ suy luận. Các phương pháp nén nhúng hiện có yêu cầu nhiều lần chạy huấn luyện mô hình, làm tăng chi phí truyền thông của FKGE. Do đó, bài báo này đề xuất FedKD, một thành phần nhẹ dựa trên chưng cất kiến thức (KD). FedKD cho phép mô hình học sinh chiều thấp mô phỏng phân phối điểm bộ ba của mô hình giáo viên chiều cao bằng cách sử dụng mất mát phân kỳ KL trong quá trình huấn luyện cục bộ phía máy khách. Không giống như KD thông thường, FedKD học nhiệt độ một cách thích ứng cho các điểm bộ ba dương và điều chỉnh các điểm bộ ba âm bằng cách sử dụng nhiệt độ được xác định trước, giảm thiểu vấn đề quá tự tin của giáo viên. Hơn nữa, nó điều chỉnh động các trọng số của mất mát KD để tối ưu hóa quá trình huấn luyện. Chúng tôi xác thực hiệu quả của FedKD thông qua các thử nghiệm mở rộng trên ba tập dữ liệu.
