यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
अभिव्यंजक तंत्रिका वास्तुकला खोज स्थानों में हस्तांतरणीय सरोगेट्स
Created by
Haebom
लेखक
शिवेन किन, गैब्रिएला काडलेकोव ए, मार्टिन पिल एट, शे बी. कोहेन, रोमन नेरुदा, इलियट जे. क्रॉले, जोविता लुकासिक, लिनुस एरिक्सन
रूपरेखा
यह शोधपत्र तंत्रिका वास्तुकला खोज (NAS) में अभिव्यंजक खोज स्थान और कुशल वास्तुकला मूल्यांकन को संतुलित करने की समस्या को संबोधित करता है। हम संदर्भ-मुक्त व्याकरणों पर आधारित अत्यधिक अभिव्यंजक NAS खोज स्थान में सरोगेट मॉडल को प्रशिक्षित करके खोज में सुधार का अध्ययन करते हैं। हम दिखाते हैं कि प्रशिक्षित सरोगेट मॉडल शून्य-लागत-प्रॉक्सी मीट्रिक और तंत्रिका ग्राफ सुविधाओं (GRAFs) का उपयोग करके या मौजूदा भाषा मॉडल (LM) को ठीक करके उच्च पूर्वानुमान शक्ति के साथ डेटासेट पर और उसके बाहर वास्तुकला प्रदर्शन की भविष्यवाणी कर सकते हैं। इसके अलावा, हम प्रदर्शित करते हैं कि इन सरोगेट मॉडल का उपयोग खोज को काफी तेज़ कर सकता है और नए डेटासेट पर खोज करते समय अनुपयुक्त आर्किटेक्चर को फ़िल्टर करके अंतिम प्रदर्शन में सुधार कर सकता है, और यह कि सरोगेट मॉडल को नाटकीय रूप से गति में सुधार करने के लिए सीधे खोज लक्ष्य के रूप में उपयोग किया जा सकता है।
Takeaways, Limitations
•
Takeaways:
◦
हम प्रदर्शित करते हैं कि शून्य-लागत-प्रॉक्सी मीट्रिक और GRAF या परिष्कृत पारंपरिक LM का उपयोग करने वाले सरोगेट मॉडल, NAS अन्वेषण क्षेत्र में आर्किटेक्चर प्रदर्शन का प्रभावी ढंग से पूर्वानुमान लगा सकते हैं।
◦
नये डेटासेट पर अन्वेषण में तेजी लाने तथा अंतिम प्रदर्शन में सुधार करने के लिए सरोगेट मॉडल का उपयोग किया जा सकता है।
◦
सरोगेट मॉडल को सीधे खोज उद्देश्यों के रूप में उपयोग करने से खोज की गति में नाटकीय रूप से सुधार हो सकता है।
•
Limitations:
◦
सरोगेट मॉडल की पूर्वानुमानात्मक सटीकता निर्धारित करने के लिए अतिरिक्त विश्लेषण की आवश्यकता हो सकती है।
◦
विभिन्न प्रकार के NAS खोज स्थानों के लिए सामान्यीकरण प्रदर्शन मूल्यांकन की आवश्यकता हो सकती है।
◦
प्रयुक्त सरोगेट मॉडल की विशिष्ट संरचना और प्रशिक्षण प्रक्रिया के बारे में विस्तृत जानकारी का अभाव हो सकता है।
