दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

लाइटरिट्रीवर: 1000 गुना तेज़ क्वेरी अनुमान के साथ एक एलएलएम-आधारित हाइब्रिड रिट्रीवल आर्किटेक्चर

Created by
  • Haebom

लेखक

गुआंगयुआन मा, योंग्लिआंग मा, जुआनरुई गौ, जेनपेंग सु, मिंग झोउ, सोंगलिन हू

रूपरेखा

यह शोधपत्र बड़े पैमाने पर भाषा मॉडल (एलएलएम)-आधारित पाठ पुनर्प्राप्ति में दक्षता संबंधी समस्याओं के समाधान हेतु लाइटरिट्रीवर का प्रस्ताव करता है। मौजूदा एलएलएम-आधारित पुनर्प्राप्ति में क्वेरी एन्कोडिंग के लिए महत्वपूर्ण कम्प्यूटेशनल प्रयास की आवश्यकता होती है, जिसके परिणामस्वरूप प्रक्रिया धीमी हो जाती है और संसाधनों की खपत होती है। लाइटरिट्रीवर दस्तावेज़ एन्कोडिंग के लिए मौजूदा बड़े पैमाने पर एलएलएम का उपयोग करता है, लेकिन क्वेरी एन्कोडिंग प्रक्रिया को एम्बेडिंग लुकअप के स्तर तक सुव्यवस्थित करके गति में नाटकीय रूप से सुधार करता है। A800 GPU का उपयोग करके किए गए प्रायोगिक परिणाम दर्शाते हैं कि क्वेरी एन्कोडिंग गति 1,000 गुना से भी अधिक तेज़ है, समग्र खोज थ्रूपुट 10 गुना से भी अधिक तेज़ है, और विभिन्न कार्यों में पुनर्प्राप्ति प्रदर्शन औसतन 95% पर बना रहता है।

Takeaways, Limitations

Takeaways:
लाइटरिट्रीवर का परिचय, जो एलएलएम-आधारित खोजों की गति और दक्षता में नाटकीय रूप से सुधार करता है।
क्वेरी एनकोडिंग के कम्प्यूटेशनल बोझ को न्यूनतम करने से वास्तविक समय खोज प्रणालियों के लिए प्रयोज्यता बढ़ जाती है।
बड़े डेटासेट पर उच्च खोज प्रदर्शन बनाए रखते हुए गति में सुधार प्राप्त करें।
हल्के क्वेरी एन्कोडिंग के माध्यम से संसाधन खपत को कम करें।
Limitations:
चूंकि यह एम्बेडिंग लुकअप पर निर्भर करता है, इसलिए एम्बेडिंग की गुणवत्ता खोज प्रदर्शन पर महत्वपूर्ण प्रभाव डाल सकती है।
इस बात की कोई गारंटी नहीं है कि प्रस्तावित विधि सभी प्रकार की खोज क्वेरी के लिए समान प्रदर्शन प्रदान करेगी।
चूंकि दस्तावेज़ एन्कोडिंग में अभी भी बड़े LLM का उपयोग होता है, इसलिए दस्तावेज़ एन्कोडिंग की कम्प्यूटेशनल जटिलता अभी भी महत्वपूर्ण हो सकती है।
लाइटरिट्रीवर के प्रदर्शन में सुधार को एक विशिष्ट हार्डवेयर (A800 GPU) वातावरण पर मापा गया था, इसलिए अन्य वातावरणों में प्रदर्शन भिन्न हो सकता है।
👍