दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

क्या बड़े भाषा मॉडल मल्टी-जीएनएन के लिए एनसेम्बलर के रूप में कार्य कर सकते हैं?

Created by
  • Haebom

लेखक

हांकी डुआन, याओ चेंग, जियानक्सियांग यू, याओ लियू, जियांग ली

रूपरेखा

यह शोधपत्र LensGNN का प्रस्ताव करता है, जो एक नया मॉडल है जो ग्राफ़ न्यूरल नेटवर्क (GNN) की Limitations चुनौती का समाधान करने के लिए एक बड़े पैमाने के भाषा मॉडल (LLM) का लाभ उठाता है, जो ग्राफ़-संरचित डेटा सीखने के लिए शक्तिशाली मॉडल के रूप में उभरे हैं। मौजूदा GNN की सीमाएँ हैं क्योंकि वे रिच टेक्स्ट नोड विशेषताओं के अर्थविज्ञान को समझने में असमर्थ हैं, और हमने देखा है कि एक विशिष्ट GNN विविध डेटासेट में लगातार अच्छा प्रदर्शन नहीं करता है। LensGNN कई GNN के निरूपणों को एक ही स्थान पर मैप करके उन्हें संरेखित करता है, और फिर LoRA फ़ाइन-ट्यूनिंग के माध्यम से GNN और LLM के बीच के स्थान को संरेखित करता है। LLM में ग्राफ़ टोकन और टेक्स्ट जानकारी इंजेक्ट करके, कई GNN को एकीकृत किया जाता है और LLM की शक्तियों का लाभ उठाया जाता है, जिससे टेक्स्ट अर्थविज्ञान और ग्राफ़ संरचना की गहरी समझ संभव होती है। प्रायोगिक परिणाम दर्शाते हैं कि LensGNN मौजूदा मॉडलों से बेहतर प्रदर्शन करता है, अर्थविज्ञान और संरचनात्मक जानकारी को एकीकृत करने के लिए एक शक्तिशाली और बेहतर समाधान प्रदान करता है, और टेक्स्ट-विशेषता ग्राफ़ समूह सीखने को आगे बढ़ाता है।

Takeaways, Limitations

Takeaways:
एलएलएम का लाभ उठाकर विभिन्न जीएनएन के प्रदर्शन में सुधार करने के लिए एक नवीन विधि प्रस्तुत की गई है।
एक ऐसे मॉडल का विकास जो पाठ्य अर्थ संबंधी जानकारी और ग्राफ संरचनात्मक जानकारी को प्रभावी ढंग से एकीकृत करता है।
मौजूदा GNN मॉडल की सीमाओं पर सफलतापूर्वक काबू पाना और प्रदर्शन में सुधार करना।
पाठ्य विशेषता ग्राफ समूह सीखने की उन्नति में योगदान देना।
Limitations:
इस पत्र में प्रस्तुत LensGNN के सामान्यीकरण प्रदर्शन पर आगे अनुसंधान की आवश्यकता है।
विभिन्न प्रकार के ग्राफ डेटासेट पर अधिक प्रयोगात्मक परिणामों की आवश्यकता है।
एलएलएम की कम्प्यूटेशनल लागत और संसाधन खपत पर विचार किया जाना चाहिए।
लोरा फाइन-ट्यूनिंग प्रक्रिया के अनुकूलन और पैरामीटर सेटिंग पर आगे अनुसंधान की आवश्यकता है।
👍