Cet article aborde le problème de l'intégration de données graphiques structurées avec des informations textuelles riches sur les nœuds, notamment pour la classification hétérogène des nœuds. Les approches existantes sont soit coûteuses en calcul, soit peinent à fusionner efficacement différentes modalités. Dans cet article, nous proposons une nouvelle architecture, le Graph Mask Language Model (GMLM), qui combine efficacement les réseaux de neurones graphiques (GNN) et les modèles de langage pré-entraînés (PLM). GMLM introduit trois innovations clés : (i) une stratégie dynamique de sélection de nœuds actifs pour le traitement de texte PLM évolutif, (ii) une étape de pré-apprentissage contrastive spécifique aux GNN utilisant le masquage souple avec des jetons de graphes apprenables [MASK], et (iii) un module de fusion dédié qui intègre les intégrations GNN basées sur RGCN aux intégrations PLM (GTE-Small et DistilBERT). Nous démontrons la supériorité de GMLM par des expériences approfondies sur des benchmarks hétérogènes (Cornell, Wisconsin, Texas). En particulier, GMLM (DistilBERT) améliore significativement les performances par rapport aux modèles de référence de pointe précédents, avec une précision accrue de plus de 4,7 % à Cornell et de plus de 2,0 % à Texas. Cette étude met en évidence les avantages d'un engagement PLM ciblé et d'un pré-apprentissage spécifique à chaque modalité pour un apprentissage efficace et amélioré des graphiques riches en texte.
