यह शोधपत्र संरचित ग्राफ़ डेटा को नोड्स की समृद्ध पाठ्य सूचना के साथ एकीकृत करने की समस्या पर विचार करता है, विशेष रूप से विषमांगी नोड वर्गीकरण के लिए। मौजूदा दृष्टिकोण या तो गणना के लिहाज से महंगे हैं या विभिन्न तौर-तरीकों को प्रभावी ढंग से संयोजित करने में कठिनाई का सामना करते हैं। इस शोधपत्र में, हम एक नवीन आर्किटेक्चर, ग्राफ़ मास्क लैंग्वेज मॉडल (GMLM) का प्रस्ताव रखते हैं, जो ग्राफ़ न्यूरल नेटवर्क (GNN) और पूर्व-प्रशिक्षित भाषा मॉडल (PLM) को कुशलतापूर्वक संयोजित करता है। GMLM तीन प्रमुख नवाचार प्रस्तुत करता है: (i) स्केलेबल PLM टेक्स्ट प्रोसेसिंग के लिए एक गतिशील सक्रिय नोड चयन रणनीति, (ii) सीखने योग्य ग्राफ़ [MASK] टोकन के साथ सॉफ्ट मास्किंग का उपयोग करते हुए एक GNN-विशिष्ट कंट्रास्टिव पूर्व-प्रशिक्षण चरण, और (iii) एक समर्पित फ़्यूज़न मॉड्यूल जो RGCN-आधारित GNN एम्बेडिंग को PLM (GTE-Small & DistilBERT) एम्बेडिंग के साथ एकीकृत करता है। हम विषमांगी बेंचमार्क (कॉर्नेल, विस्कॉन्सिन, टेक्सास) पर व्यापक प्रयोगों के माध्यम से GMLM की श्रेष्ठता प्रदर्शित करते हैं। विशेष रूप से, GMLM (डिस्टिलबर्ट) पिछले अत्याधुनिक बेसलाइन मॉडलों की तुलना में उल्लेखनीय प्रदर्शन सुधार प्राप्त करता है, कॉर्नेल में 4.7% से अधिक और टेक्सास में 2.0% से अधिक की सटीकता में सुधार के साथ। यह अध्ययन पाठ-समृद्ध ग्राफ़ में कुशल और बेहतर शिक्षण के लिए लक्ष्य-उन्मुख PLM संलग्नता और मोडैलिटी-विशिष्ट पूर्व-प्रशिक्षण के लाभों पर प्रकाश डालता है।
