[공지사항]을 빙자한 안부와 근황 
Show more

दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

FLAME: अनुकूली SMoE के माध्यम से बड़े भाषा मॉडलों के संघीय फ़ाइन-ट्यूनिंग की ओर

Created by
  • Haebom

लेखक

खीम ले, तुआन ट्रान, टिंग हुआ, नितेश वी. चावला

रूपरेखा

इस पत्र में, हम FLAME का प्रस्ताव करते हैं, जो संसाधन-सीमित क्लाइंट परिवेशों में फ़ेडरेटेड लर्निंग के लिए एक नया ढाँचा है। मौजूदा संसाधन-अनुकूली LoRA फ़ेडरेटेड फ़ाइन-ट्यूनिंग विधियाँ विविध क्लाइंट कम्प्यूटेशनल संसाधनों को समायोजित करने के लिए वैश्विक LoRA मैट्रिसेस के संपीड़ित संस्करणों का उपयोग करती हैं, लेकिन सूचना हानि के कारण प्रदर्शन में गिरावट का सामना करती हैं। FLAME विशेषज्ञों के विरल मिश्रण (SMoE) आर्किटेक्चर पर आधारित है, जो क्लाइंट-साइड अनुकूलनशीलता प्राप्त करने के लिए प्रति क्लाइंट सक्रिय विशेषज्ञों की संख्या में परिवर्तन करते हुए पूर्ण असम्पीडित वैश्विक LoRA मैट्रिसेस को बनाए रखता है। यह एक हल्के पुनर्संतुलन तंत्र और एक सक्रियण-जागरूक एकत्रीकरण योजना के माध्यम से आंशिक विशेषज्ञ सक्रियण के कारण आउटपुट आकार के बेमेल और क्लाइंट के बीच विशेषज्ञ प्रशिक्षण गुणवत्ता में असंतुलन जैसी समस्याओं का समाधान करता है। विभिन्न कम्प्यूटेशनल परिवेशों पर प्रायोगिक परिणाम दर्शाते हैं कि FLAME मौजूदा विधियों से बेहतर प्रदर्शन करता है।

Takeaways, Limitations

•
Takeaways:
◦
हम संपीड़न के बिना पूर्ण वैश्विक LoRA मैट्रिक्स का उपयोग करके मौजूदा LoRA-आधारित फ़ेडरेटेड लर्निंग के प्रदर्शन में गिरावट की समस्या का समाधान करते हैं।
◦
एसएमओई आर्किटेक्चर क्लाइंट के कंप्यूट संसाधनों के लिए लचीले अनुकूलन की अनुमति देता है।
◦
यह एक हल्के पुनर्संतुलन तंत्र और एक सक्रियण-जागरूक एकत्रीकरण दृष्टिकोण के माध्यम से एसएमओई-आधारित संघीय शिक्षा की अंतर्निहित चुनौतियों को प्रभावी ढंग से संबोधित करता है।
◦
यह विभिन्न वातावरणों में मौजूदा विधियों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
•
Limitations:
◦
एसएमओई आर्किटेक्चर की जटिलता मॉडल के आकार और प्रशिक्षण जटिलता को बढ़ा सकती है।
◦
प्रस्तावित हल्के पुनर्संतुलन तंत्र और सक्रियण-जागरूक एकत्रीकरण दृष्टिकोण के अनुकूलन के लिए जगह हो सकती है।
◦
विभिन्न डेटा वितरण और नेटवर्क वातावरण के साथ अतिरिक्त प्रयोगों की आवश्यकता हो सकती है।
👍
Made with Slashpage