यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
यह शोधपत्र SoAy प्रस्तुत करता है, जो विद्वानों द्वारा सूचना पुनर्प्राप्ति के लिए एक बड़े पैमाने पर भाषा मॉडल (LLM)-आधारित API-आधारित पद्धति है। यह दर्शाते हुए कि मौजूदा विधियाँ अकादमिक प्रश्नों में आमतौर पर सामने आने वाले जटिल API संयोजनों के साथ संघर्ष करती हैं, SoAy "समाधानों" अर्थात् पूर्व-कॉन्फ़िगर किए गए API कॉल अनुक्रमों का उपयोग करता है, ताकि LLMs के लिए API के बीच जटिल संबंधों को समझने में आवश्यक कठिनाई को कम किया जा सके। यह अनुमान दक्षता बढ़ाने के लिए कोड का भी लाभ उठाता है। हम AMiner API पर निर्मित SoAyBench मूल्यांकन बेंचमार्क का उपयोग करके SoAy के प्रदर्शन का मूल्यांकन करते हैं, और मौजूदा अत्याधुनिक LLM API-आधारित विधियों की तुलना में 34.58-75.99% प्रदर्शन सुधार प्रदर्शित करते हैं। सभी डेटासेट, कोड, ट्यून्ड मॉडल और परिनियोजित ऑनलाइन सेवाएँ सार्वजनिक रूप से उपलब्ध हैं।
Takeaways, Limitations
•
Takeaways:
◦
हम एक नवीन कार्यप्रणाली प्रस्तुत करते हैं जो शैक्षणिक सूचना अन्वेषण में एलएलएम की दक्षता में उल्लेखनीय सुधार कर सकती है, जिसके लिए जटिल एपीआई संयोजनों की आवश्यकता होती है।
◦
'समाधान'-आधारित दृष्टिकोण एलएलएम को जटिल एपीआई संबंधों को समझने में मदद करने में प्रभावी साबित हुआ है।
◦
हम एक ऐसी विधि की उपयोगिता प्रदर्शित करते हैं जो अनुमान दक्षता में सुधार के लिए कोड का लाभ उठाती है।
◦
खुले कोड और डेटासेट के माध्यम से पुनरुत्पादनशीलता और मापनीयता में सुधार किया गया।
•
Limitations:
◦
चूंकि SoAyBench बेंचमार्क AMiner API पर बनाया गया है, इसलिए अन्य API वातावरणों में इसके सामान्यीकरण प्रदर्शन के लिए अतिरिक्त सत्यापन की आवश्यकता होती है।
◦
"समाधानों" के पूर्व-कॉन्फ़िगरेशन की आवश्यकता सामान्य शैक्षणिक प्रश्नों तक उनकी प्रयोज्यता को सीमित कर सकती है। समाधान निर्माण प्रक्रिया को स्वचालित करने के लिए अनुसंधान की आवश्यकता है।
◦
विभिन्न प्रकार के शैक्षणिक प्रश्नों पर SoAy के प्रदर्शन का अधिक व्यापक मूल्यांकन करने की आवश्यकता है।
