दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

घने रिट्रीवर्स के रूप में विशिष्ट एलएलएम का तुलनात्मक अध्ययन

Created by
  • Haebom

लेखक

हेनग्रान झांग, केपिंग बी, जियाफेंग गुओ

रूपरेखा

यह शोधपत्र सघन खोजकर्ताओं के रूप में बड़े पैमाने के भाषा मॉडल (एलएलएम) का उपयोग करते समय पुनर्प्राप्ति दक्षता पर डोमेन विशेषज्ञता के प्रभाव की व्यवस्थित जाँच करता है। पाठ, कोड, छवियों और बहुविध सामग्री को संभालने में सक्षम एक एकीकृत खोजकर्ता विकसित करने की दिशा में एक महत्वपूर्ण कदम के रूप में, हम प्रयोगात्मक रूप से विश्लेषण करते हैं कि एलएलएम का कार्य-विशिष्ट अनुकूलन पुनर्प्राप्ति प्रदर्शन को कैसे प्रभावित करता है। हम शून्य-शॉट पुनर्प्राप्ति और पर्यवेक्षित शिक्षण, दोनों स्थितियों में आठ Qwen2.5 7B एलएलएम (बेसलाइन, निर्देशित ट्यूनिंग, कोड/गणित विशेषज्ञता, दीर्घ-पाठ अनुमान और दृष्टि-भाषा मॉडल) का उपयोग करके व्यापक प्रयोग करते हैं। शून्य-शॉट पुनर्प्राप्ति सेटिंग में, हम BEIR बेंचमार्क में पाठ पुनर्प्राप्ति और CoIR बेंचमार्क में कोड पुनर्प्राप्ति पर विचार करते हैं। पर्यवेक्षित शिक्षण प्रदर्शन का मूल्यांकन करने के लिए, सभी एलएलएम को MS MARCO डेटासेट पर परिष्कृत किया जाता है। गणित विशेषज्ञता और दीर्घ-पाठ अनुमान तीनों सेटिंग्स में प्रदर्शन को लगातार कम करते हैं, जो गणितीय अनुमान और अर्थ मिलान के बीच एक समझौता सुझाता है। दृष्टि-भाषा मॉडल और कोड-विशिष्ट एलएलएम, अन्य एलएलएम की तुलना में बेहतर शून्य-शॉट प्रदर्शन प्रदर्शित करते हैं, कोड पुनर्प्राप्ति कार्यों में बीएम25 से बेहतर प्रदर्शन करते हैं और पर्यवेक्षित शिक्षण सेटिंग्स में बेसलाइन एलएलएम के तुलनीय प्रदर्शन बनाए रखते हैं। ये परिणाम क्रॉस-डोमेन और क्रॉस-मोडल फ़्यूज़न का लाभ उठाते हुए एकीकृत पुनर्प्राप्ति कार्यों के लिए आशाजनक दिशा-निर्देश सुझाते हैं।

Takeaways, Limitations

Takeaways:
कोड-विशिष्ट और दृष्टि-भाषा मॉडल-आधारित एलएलएम शून्य-शॉट पुनर्प्राप्ति में बेहतर प्रदर्शन प्रदर्शित करते हैं। विशेष रूप से, वे कोड पुनर्प्राप्ति में BM25 से बेहतर प्रदर्शन करते हैं।
क्रॉस-डोमेन और क्रॉस-मोडल संलयन का उपयोग करके एक एकीकृत खोज प्रणाली विकसित करने की संभावना प्रस्तुत करना।
गणितीय तर्क क्षमता और अर्थगत मिलान के बीच एक समझौता उजागर करना।
Limitations:
सीमित संख्या में एलएलएम और डेटासेट का उपयोग किया गया था। एलएलएम और डेटासेट की विस्तृत विविधता का उपयोग करके आगे अनुसंधान की आवश्यकता है।
शून्य-शॉट और पर्यवेक्षित शिक्षण सेटिंग्स के अलावा अन्य सेटिंग्स पर और अधिक शोध की आवश्यकता है।
विशिष्ट कार्यों के लिए विशेषज्ञता प्राप्त एलएलएम के सामान्यीकरण प्रदर्शन पर आगे अनुसंधान की आवश्यकता है।
👍