Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

GMLM : Réseaux neuronaux graphiques et modèles de langage pour la classification des nœuds hétérophiles

Created by
  • Haebom

Auteur

Aarush Sinha

Contour

Cet article aborde le problème de l'intégration de données graphiques structurées avec des informations textuelles riches sur les nœuds, notamment pour la classification hétérogène des nœuds. Les approches existantes sont soit coûteuses en calcul, soit peinent à fusionner efficacement différentes modalités. Dans cet article, nous proposons une nouvelle architecture, le Graph Mask Language Model (GMLM), qui combine efficacement les réseaux de neurones graphiques (GNN) et les modèles de langage pré-entraînés (PLM). GMLM introduit trois innovations clés : (i) une stratégie dynamique de sélection de nœuds actifs pour le traitement de texte PLM évolutif, (ii) une étape de pré-apprentissage contrastive spécifique aux GNN utilisant le masquage souple avec des jetons de graphes apprenables [MASK], et (iii) un module de fusion dédié qui intègre les intégrations GNN basées sur RGCN aux intégrations PLM (GTE-Small et DistilBERT). Nous démontrons la supériorité de GMLM par des expériences approfondies sur des benchmarks hétérogènes (Cornell, Wisconsin, Texas). En particulier, GMLM (DistilBERT) améliore significativement les performances par rapport aux modèles de référence de pointe précédents, avec une précision accrue de plus de 4,7 % à Cornell et de plus de 2,0 % à Texas. Cette étude met en évidence les avantages d'un engagement PLM ciblé et d'un pré-apprentissage spécifique à chaque modalité pour un apprentissage efficace et amélioré des graphiques riches en texte.

Takeaways, Limitations

Takeaways:
Nous présentons une nouvelle architecture (GMLM) qui intègre efficacement GNN et PLM pour obtenir des performances supérieures sur les problèmes de classification de nœuds hétérogènes.
Réduisez les coûts de calcul et fusionnez efficacement diverses modalités grâce à une stratégie de sélection de nœuds actifs dynamiques, une pré-formation contrastive spécifique au GNN et un module de fusion dédié.
Il montre une amélioration significative des performances (jusqu'à 4,7 % et 2,0 %, respectivement) par rapport aux modèles de base de pointe précédents sur les ensembles de données de Cornell et du Texas.
Souligne l’importance d’un engagement PLM axé sur les objectifs et d’une pré-formation spécifique à la modalité.
Limitations:
Des recherches supplémentaires sont nécessaires sur les performances de généralisation du modèle proposé.
L'applicabilité et l'évaluation des performances pour d'autres types de données graphiques ou de problèmes de classification de nœuds sont nécessaires.
Les chiffres d’amélioration des performances pour l’ensemble de données du Wisconsin ne sont pas explicitement présentés.
Manque d'analyse de comparaison des performances pour d'autres PLM autres que le PLM spécifique utilisé (GTE-Small & DistilBERT).
👍