[공지사항]을 빙자한 안부와 근황 
Show more

दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

वेक्टरफिट: पूर्व-प्रशिक्षित फाउंडेशन मॉडल का अनुकूली एकवचन और पूर्वाग्रह वेक्टर फ़ाइन-ट्यूनिंग

Created by
  • Haebom

लेखक

सुहास जी हेगड़े, शिल्पी कौर, अरुणा तिवारी

रूपरेखा

यह शोधपत्र इस समस्या की ओर इशारा करता है कि मौजूदा पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT) विधियों में प्रदर्शन सुधारने की सीमाएँ हैं क्योंकि वे पहले से सीखे गए भारों को स्थिर कर देती हैं और नए निम्न-श्रेणी या विरल भार सीखती हैं। चूँकि मौजूदा विधियाँ नए भारों को शुरू से सीखती हैं, इसलिए प्रदर्शन में गिरावट आती है। वेक्टरफ़िट एक नई पैरामीटराइज़ेशन विधि प्रस्तावित करता है जो पहले से सीखे गए भार W में निहित जानकारी का उपयोग करके W के एकवचन सदिशों और पूर्वाग्रहों को अनुकूली रूप से सीखती है। इसके माध्यम से, हम मौजूदा PEFT विधियों की तुलना में बहुत कम मापदंडों (9x कमी) के साथ पूर्ण फ़ाइन-ट्यूनिंग के समान प्रदर्शन प्राप्त करते हैं, और प्रयोगात्मक रूप से प्रदर्शित करते हैं कि हमारी विधि प्राकृतिक भाषा समझ और निर्माण, प्रश्नोत्तर, और 19 डेटासेट के माध्यम से छवि वर्गीकरण और निर्माण जैसे विभिन्न कार्यों में बेहतर प्रदर्शन करती है।

Takeaways, Limitations

Takeaways:
हम एक नवीन PEFT विधि, वेक्टरफिट प्रस्तुत करते हैं, जो पैरामीटर दक्षता को अधिकतम करने के लिए पूर्व-सीखे गए भारों से प्राप्त जानकारी का प्रभावी ढंग से उपयोग करती है।
यह मौजूदा PEFT विधियों की तुलना में काफी कम मापदंडों के साथ उच्च प्रदर्शन प्राप्त करता है, तथा सीमित कंप्यूटिंग संसाधनों वाले वातावरण में भी अपनी प्रभावशीलता प्रदर्शित करता है।
यह विभिन्न प्रकार के भाषा और दृष्टि कार्यों में उत्कृष्ट प्रदर्शन प्रदर्शित करता है, जो व्यापक अनुप्रयोग क्षमता का संकेत देता है।
Limitations:
यह निष्कर्ष निकालना मुश्किल है कि इस शोधपत्र में प्रस्तुत 19 डेटासेट वेक्टरफ़िट के सामान्यीकरण प्रदर्शन की पूरी गारंटी देते हैं। अधिक विविध और व्यापक डेटासेट पर अतिरिक्त प्रयोग आवश्यक हो सकते हैं।
हम इस संभावना से इनकार नहीं कर सकते कि वेक्टरफ़िट के प्रदर्शन सुधार कुछ खास प्रकार के मॉडलों या कार्यों तक ही सीमित हैं। विभिन्न मॉडल आर्किटेक्चर और कार्यों पर और शोध की आवश्यकता है।
👍