यह शोधपत्र HiTeC का प्रस्ताव करता है, जो टेक्स्ट-एट्रिब्यूटेड हाइपरग्राफ (TAHG) पर स्व-पर्यवेक्षित शिक्षण के लिए एक नवीन ढाँचा है। हम मौजूदा कंट्रास्टिव लर्निंग-आधारित विधियों की सीमाओं पर प्रकाश डालते हैं, जो TAHG में पाठ्य सूचना का प्रभावी ढंग से उपयोग करने में विफल रहती हैं, यादृच्छिक डेटा संवर्द्धन के कारण शोर से ग्रस्त होती हैं, और दीर्घ-सीमा निर्भरताओं को पकड़ने में कठिनाई का सामना करती हैं। HiTeC में एक टेक्स्ट एनकोडर प्रीट्रेनिंग चरण होता है जो एक संरचना-जागरूक कंट्रास्टिव ऑब्जेक्टिव फ़ंक्शन का उपयोग करता है, जिसके बाद एक दूसरा चरण होता है जो प्रॉम्प्ट-एन्हांस्ड टेक्स्ट संवर्द्धन और सिमेंटिक-जागरूक हाइपरएज विलोपन जैसी सिमेंटिक-जागरूक संवर्द्धन रणनीतियों का उपयोग करता है। इसके अलावा, हम एक बहु-स्तरीय कंट्रास्टिव लॉस फ़ंक्शन का प्रस्ताव करते हैं जो s-वॉक-आधारित सबग्राफ़-स्तरीय कंट्रास्टिवनेस के माध्यम से दीर्घ-सीमा निर्भरताओं को बेहतर ढंग से पकड़ता है। यह दो-चरणीय डिज़ाइन टेक्स्ट एनकोडर प्रीट्रेनिंग को हाइपरग्राफ़ कंट्रास्टिव लर्निंग से अलग करता है, जिससे मापनीयता में सुधार होता है और प्रतिनिधित्व गुणवत्ता बनी रहती है। हम व्यापक प्रयोगों के माध्यम से HiTeC की प्रभावशीलता को प्रदर्शित करते हैं।
