दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

टोकन अतिरेक में कमी के साथ तेज़ पैरामीटर-कुशल ट्यूनिंग

Created by
  • Haebom

लेखक

क्वोनयॉन्ग किम, जुंगिन पार्क, जिन किम, ह्योंगजुन क्वोन, क्वांगहून सोहन

रूपरेखा

यह शोधपत्र तेज़ पैरामीटर-कुशल ट्यूनिंग (FPET) का प्रस्ताव करता है, जो एक नवीन विधि है जो पैरामीटर-कुशल ट्यूनिंग (PET) की अनुमान गति और प्रशिक्षण दक्षता में सुधार करती है। मौजूदा PET विधियाँ बड़े पैमाने के आधार मॉडलों की अंतर्निहित अनुमान विलंबता और अतिरिक्त मॉड्यूल से जुड़े कम्प्यूटेशनल ओवरहेड से ग्रस्त हैं। FPET, PET के लिए विशेष रूप से डिज़ाइन किया गया एक प्लग-एंड-प्ले टोकन अतिरेक न्यूनीकरण मॉड्यूल प्रस्तुत करता है, जो स्व-ध्यान परत में टोकन को परिष्कृत करता है, और पूरी तरह से अवकलनीय टोकन विलय रणनीति का उपयोग करके टोकन को हटाता है। यह मौजूदा PET विधियों के तुलनीय प्रदर्शन को बनाए रखते हुए तेज़ अनुमान गति और उच्च मेमोरी दक्षता प्राप्त करता है।

Takeaways, Limitations

Takeaways:
हमने मौजूदा पीईटी विधियों की अनुमान गति और प्रशिक्षण दक्षता की समस्याओं को हल करके व्यावहारिकता में सुधार किया।
हमारे प्लग-एंड-प्ले टोकन डुप्लीकेशन रिडक्शन मॉड्यूल के साथ आसानी से PET प्रदर्शन में सुधार करें।
हमने एक साथ बड़े पैमाने पर पूर्व-प्रशिक्षित मॉडलों की अनुमान गति और मेमोरी दक्षता में सुधार किया।
प्रतिस्पर्धी प्रदर्शन को बनाए रखते हुए दक्षता में वृद्धि।
Limitations:
प्रस्तावित टोकन विलय रणनीति के सामान्यीकरण प्रदर्शन का मूल्यांकन करने के लिए आगे अनुसंधान की आवश्यकता हो सकती है।
विभिन्न प्रकार के पूर्व-प्रशिक्षित मॉडलों और उप-कार्यों के साथ आगे व्यापक प्रयोगों की आवश्यकता है।
टोकन दोहराव न्यूनीकरण मॉड्यूल के लिए इष्टतम पैरामीटर निर्धारित करने के लिए आगे अनुसंधान की आवश्यकता हो सकती है।
👍