Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Intégration de graphes de connaissances fédérés de faible dimension via la distillation des connaissances

Created by
  • Haebom

Auteur

Xiaoxiong Zhang, Zhiwei Zeng, Xin Zhou, Zhiqi Shen

Contour

Cet article se concentre sur l'intégration de graphes de connaissances fédérés (FKGE), qui apprend collaborativement des intégrations d'entités et de relations à partir de graphes de connaissances (KG) de plusieurs clients dans un environnement distribué. Les intégrations de grande dimension offrent des avantages en termes de performances, mais posent des défis en termes d'espace de stockage et de vitesse d'inférence. Les méthodes de compression d'intégration existantes nécessitent plusieurs apprentissages du modèle, ce qui augmente les coûts de communication de FKGE. Par conséquent, cet article propose FedKD, un composant léger basé sur la distillation des connaissances (KD). FedKD permet à un modèle d'élève de faible dimension de reproduire la distribution des scores triplets d'un modèle d'enseignant de grande dimension en utilisant la perte de divergence KL lors de l'apprentissage local côté client. Contrairement à la KD conventionnelle, FedKD apprend de manière adaptative les températures pour les scores triplets positifs et ajuste les scores triplets négatifs à l'aide de températures prédéfinies, atténuant ainsi le problème de confiance excessive de l'enseignant. De plus, il ajuste dynamiquement les pondérations de la perte KD afin d'optimiser le processus d'apprentissage. Nous validons l'efficacité de FedKD par des expériences approfondies sur trois jeux de données.

Takeaways, Limitations_

Takeaways:
Nous présentons une méthode de compression légère basée sur la distillation des connaissances qui répond efficacement aux problèmes de stockage et de coût d'inférence des intégrations de grande dimension dans les environnements d'apprentissage fédérés.
Une nouvelle technique de contrôle adaptatif de la température est proposée pour atténuer le problème de surconfiance du modèle d'enseignant de Limitations de distillation des connaissances existantes.
Optimisation du processus de formation de la perte de distillation des connaissances via un ajustement dynamique du poids.
L’efficacité de la méthode proposée est vérifiée par des expériences utilisant trois ensembles de données.
Limitations:
L’efficacité de la méthode proposée peut être limitée à des ensembles de données spécifiques.
La vérification des performances de généralisation est nécessaire pour divers modèles FKGE.
Une analyse comparative plus poussée avec d’autres méthodes de compression est nécessaire.
👍