यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
यह शोधपत्र LM-Searcher, एक न्यूरल आर्किटेक्चर सर्च (NAS) फ्रेमवर्क, जो विभिन्न कार्यों में लागू होता है और बड़े पैमाने के भाषा मॉडल (LLM) का लाभ उठाता है, प्रस्तावित करता है। जहाँ मौजूदा LLM-आधारित NAS दृष्टिकोणों की सीमाएँ हैं क्योंकि वे शीघ्र इंजीनियरिंग और डोमेन-विशिष्ट ट्यूनिंग पर अत्यधिक निर्भर हैं, वहीं LM-Searcher डोमेन-विशिष्ट अनुकूलन के बिना विभिन्न डोमेन में न्यूरल नेटवर्क आर्किटेक्चर अनुकूलन करता है। इसे प्राप्त करने के लिए, हम क्रॉस-डोमेन आर्किटेक्चर एन्कोडिंग और अन्वेषण को सक्षम करने के लिए, न्यूरल नेटवर्क आर्किटेक्चर के लिए एक सार्वभौमिक संख्यात्मक स्ट्रिंग निरूपण, NCode का उपयोग करते हैं। इसके अलावा, हम NAS समस्या को एक रैंकिंग कार्य के रूप में पुनर्परिभाषित करते हैं और एक उम्मीदवार समूह से उच्च-प्रदर्शन वाले आर्किटेक्चर का चयन करने के लिए एक नवीन प्रूनिंग-आधारित उप-स्थान नमूनाकरण रणनीति से प्राप्त निर्देशित ट्यूनिंग नमूनों का उपयोग करके LLM को प्रशिक्षित करते हैं। विविध आर्किटेक्चर-प्रदर्शन युग्मों वाला एक परिष्कृत डेटासेट सुदृढ़ और हस्तांतरणीय अधिगम को बढ़ावा देता है। व्यापक प्रयोगों से पता चलता है कि LM-Searcher डोमेन के भीतर (जैसे, छवि वर्गीकरण के लिए CNN) और डोमेन के पार (जैसे, विभाजन और निर्माण के लिए LoRA आर्किटेक्चर) दोनों पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है, जिससे लचीले और सामान्यीकृत LLM-आधारित आर्किटेक्चर खोज के लिए एक नया प्रतिमान प्रस्तुत होता है। डेटासेट और मॉडल को https://github.com/Ashone3/LM-Searcher में सार्वजनिक किया जाएगा ।
हम एक नवीन एलएलएम-आधारित एनएएस फ्रेमवर्क प्रस्तुत करते हैं जो डोमेन-विशिष्ट अनुकूलन के बिना विविध डोमेन में तंत्रिका नेटवर्क आर्किटेक्चर अनुकूलन को सक्षम बनाता है।
◦
एनकोड, एक सार्वभौमिक संख्यात्मक स्ट्रिंग प्रतिनिधित्व का उपयोग करके क्रॉस-डोमेन आर्किटेक्चर एन्कोडिंग और अन्वेषण संभव है।
◦
छंटाई-आधारित उप-स्थान नमूनाकरण रणनीतियों के माध्यम से कुशल वास्तुकला अन्वेषण।
◦
इन-डोमेन और आउट-ऑफ-डोमेन दोनों परिचालनों में प्रतिस्पर्धी प्रदर्शन प्राप्त करना।
◦
पुनरुत्पादन के लिए कोड और डेटा सार्वजनिक किया गया
•
Limitations:
◦
प्रस्तावित एनकोड प्रतिनिधित्व के सामान्यीकरण प्रदर्शन और सीमाओं पर आगे विश्लेषण की आवश्यकता है।
◦
विभिन्न कार्यों के लिए इसकी बहुमुखी प्रतिभा को और बढ़ाने के लिए और अधिक शोध की आवश्यकता है।
◦
प्रूनिंग-आधारित उप-स्थान नमूनाकरण रणनीतियों के अनुकूलन और सुधार की गुंजाइश है।
◦
एलएलएम के प्रदर्शन पर उच्च निर्भरता के कारण, ऐसी संभावना है कि एलएलएम की सीमाएं एलएम-खोजकर्ता के प्रदर्शन को प्रभावित कर सकती हैं।
