दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

चेकदैट! 2025 में डीप रिट्रीवल: हाइब्रिड रिट्रीवल और री-रैंकिंग के माध्यम से निहित सोशल मीडिया उल्लेखों से वैज्ञानिक पत्रों की पहचान करना

Created by
  • Haebom

लेखक

पास्कल जे. सेगर, अश्विनी कामराज, बेंजामिन एफ. ग्रेवे, थिलो स्टैडेलमैन

रूपरेखा

यह पेपर CLEF CheckThat! 2025 प्रतियोगिता के उपकार्य 4b (सोशल मीडिया पोस्ट पर प्रासंगिक वैज्ञानिक साहित्य प्राप्त करना) में डीप रिट्रीवल टीम द्वारा उपयोग की जाने वाली कार्यप्रणाली और परिणाम प्रस्तुत करता है। अनौपचारिक और औपचारिक भाषा के बीच की खाई को पाटने वाली मजबूत रिट्रीवल को सक्षम करने के लिए, हम एक हाइब्रिड रिट्रीवल पाइपलाइन का प्रस्ताव करते हैं जो शाब्दिक सटीकता, अर्थ सामान्यीकरण और गहन संदर्भ पुनर्व्यवस्था को जोड़ती है। विशेष रूप से, हम FAISS वेक्टर स्टोरेज को फाइन-ट्यून्ड INF-Retriever-v1 मॉडल और BM25-आधारित कीवर्ड मिलान के साथ जोड़ते हैं ताकि BM25 द्वारा शीर्ष 30 उम्मीदवार और अर्थ पुनर्प्राप्ति द्वारा शीर्ष 100 उम्मीदवार प्राप्त किए जा सकें, जिन्हें फिर एक बड़े पैमाने पर भाषा मॉडल (LLM)-आधारित क्रॉस-एनकोडर द्वारा मर्ज और पुनर्व्यवस्था किया जाता है। हमने विकास सेट पर 76.46% MRR@5 और छिपे हुए परीक्षण सेट पर 66.43% MRR@5 प्राप्त किया, विकास लीडरबोर्ड पर 1 और परीक्षण लीडरबोर्ड पर 3 (31 टीमों में से) रैंकिंग प्राप्त की। हमने बिना किसी बाहरी प्रशिक्षण डेटा के स्थानीय रूप से ओपन सोर्स मॉडल चलाकर ये परिणाम प्राप्त किए, जो सावधानीपूर्वक डिज़ाइन किए गए और ठीक-ठाक रिट्रीवल पाइपलाइन की प्रभावशीलता को उजागर करता है।

Takeaways, Limitations

Takeaways:
हम एक हाइब्रिड दृष्टिकोण की प्रभावशीलता को प्रदर्शित करते हैं जो BM25 को सिमेंटिक रिट्रीवल और LLM-आधारित रीरैंकिंग के साथ जोड़ता है।
हम एक केस स्टडी प्रस्तुत करते हैं, जिसमें हमने बाह्य प्रशिक्षण डेटा के बिना ओपन सोर्स मॉडल का उपयोग करके उत्कृष्ट प्रदर्शन हासिल किया।
हम सोशल मीडिया पोस्ट और वैज्ञानिक साहित्य के बीच भाषाई अंतर को पाटने का एक प्रभावी तरीका प्रस्तुत करते हैं।
_____टी14361_____:
टेस्ट लीडरबोर्ड में #1 के साथ प्रदर्शन में अंतर (2%p) है। प्रदर्शन को और बेहतर बनाने के लिए आगे और शोध की आवश्यकता है।
प्रयुक्त मॉडलों और पाइपलाइनों के सामान्यीकरण प्रदर्शन का आगे विश्लेषण आवश्यक है।
अन्य प्रकार के सोशल मीडिया डेटा या वैज्ञानिक साहित्य पर इसके सामान्यीकरण की जांच की जानी चाहिए।
👍