[공지사항]을 빙자한 안부와 근황 
Show more

दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

LoRA संपन्न RITE: LoRA अनुकूलन के लिए मजबूत अपरिवर्तनीय परिवर्तन संतुलन

Created by
  • Haebom

लेखक

जुई-नान येन, सी सी, झाओ मेंग, फेलिक्स यू, साई सूर्या दुव्वुरी, इंद्रजीत एस. ढिल्लों, चो-जुई हसिह, संजीव कुमार

रूपरेखा

इस पत्र में, हम निम्न-श्रेणी अनुकूलन (LoRA) के लिए पैरामीटर-कुशल फ़ाइन-ट्यूनिंग में मौजूदा ऑप्टिमाइज़र में अनुवाद अपरिवर्तनशीलता की कमी को दूर करने के लिए LoRA-RITE का प्रस्ताव करते हैं। LoRA-RITE एक अनुकूली मैट्रिक्स प्रीप्रोसेसिंग विधि है जो कम्प्यूटेशनल दक्षता बनाए रखते हुए अनुवाद अपरिवर्तनशीलता प्राप्त करती है। विभिन्न मॉडलों और जेम्मा 2B, 7B, और mT5-XXL जैसे LLM कार्यों पर सैद्धांतिक विश्लेषण और प्रयोगों के माध्यम से, हम प्रदर्शित करते हैं कि मौजूदा ऑप्टिमाइज़र की तुलना में इसका प्रदर्शन बेहतर होता है। उदाहरण के लिए, जेम्मा-2B पर LoRA फ़ाइन-ट्यूनिंग में एडम को LoRA-RITE से बदलने पर, हम सुपर-नेचुरल इंस्ट्रक्शन्स में 4.6% और अन्य चार LLM बेंचमार्क (HellaSwag, ArcChallenge, GSM8K, और OpenBookQA) में 3.5% की सटीकता में सुधार प्राप्त करते हैं।

Takeaways, Limitations

•
Takeaways:
◦
हम LoRA अनुकूलन में अनुवाद अपरिवर्तनशीलता प्राप्त करने के लिए एक कुशल नई विधि (LoRA-RITE) प्रस्तुत करते हैं।
◦
विभिन्न एलएलएम मॉडलों और कार्यों पर मौजूदा विधियों की तुलना में प्रदर्शन में सुधार का प्रयोगात्मक सत्यापन किया गया।
◦
LoRA-आधारित फ़ाइन-ट्यूनिंग की दक्षता और प्रदर्शन को बेहतर बनाने में योगदान देता है।
•
Limitations:
◦
प्रस्तावित विधि के सामान्यीकरण प्रदर्शन पर आगे अनुसंधान की आवश्यकता है।
◦
अन्य प्रकार के एलएलएम या फाइन-ट्यूनिंग विधियों की प्रयोज्यता की समीक्षा की जानी चाहिए।
◦
LoRA-RITE की कम्प्यूटेशनल लागत का अधिक विस्तृत विश्लेषण आवश्यक है।
👍
Made with Slashpage