Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

RapidGNN : Formation distribuée économe en énergie et en communication sur les réseaux neuronaux graphiques à grande échelle

Created by
  • Haebom

Auteur

Arefin Niam, Tevfik Kosar, MSQ Zulkar Neuf

Contour

Cet article propose RapidGNN, un nouveau framework pour améliorer l'efficacité de l'apprentissage distribué des réseaux de neurones graphes (GNN) sur des graphes de grande taille. Si les approches existantes basées sur l'échantillonnage réduisent la charge de calcul, la surcharge de communication reste problématique. RapidGNN permet une construction efficace du cache et une prélecture des fonctionnalités à distance grâce à une planification déterministe basée sur l'échantillonnage. Les résultats d'évaluation sur des jeux de données de graphes de référence montrent que RapidGNN améliore le débit d'apprentissage de bout en bout de 2,46 à 3,00 fois en moyenne par rapport aux méthodes existantes, et réduit la récupération des fonctionnalités à distance de 9,70 à 15,39 fois. De plus, il atteint une évolutivité quasi-linéaire avec l'augmentation du nombre d'unités de calcul et améliore l'efficacité énergétique de 44 % et 32 ​​% respectivement par rapport aux méthodes existantes sur CPU et GPU.

Takeaways, Limitations

Takeaways:
Nous présentons RapidGNN, un nouveau framework qui améliore considérablement l'efficacité de l'apprentissage distribué des GNN sur des graphes à grande échelle.
Débit et efficacité énergétique considérablement améliorés par rapport aux méthodes existantes.
Il présente une évolutivité presque linéaire.
Démontrer empiriquement l’efficacité de la planification basée sur l’échantillonnage déterministe.
Limitations:
Manque de détails spécifiques sur le type et la taille de l’ensemble de données de référence proposé.
Les améliorations des performances de RapidGNN peuvent dépendre d’environnements matériels spécifiques.
Une analyse comparative plus approfondie avec d’autres cadres d’apprentissage distribué est nécessaire.
Des recherches supplémentaires sont nécessaires sur l’applicabilité et les performances de généralisation de divers modèles GNN.
👍