यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
विषम डेटा और अनुकूली ड्रॉपआउट के साथ कुशल फ़ेडरेटेड लर्निंग
Created by
Haebom
लेखक
जी लियू, बेइचेन मा, क़ियाओलिन यू, रुओमिंग जिन, जिंगबो झोउ, यांग झोउ, हुइयु दाई, हैक्सुन वांग, डेजिंग डू, पैट्रिक वाल्डुरीज़
रूपरेखा
इस पत्र में, हम फेडरेटेड लर्निंग (FL) में डेटा विविधता और एज डिवाइसों के सीमित संसाधनों के कारण होने वाली प्रदर्शन गिरावट की समस्याओं को दूर करने के लिए एक FedDHAD ढाँचा प्रस्तावित करते हैं। FedDHAD दो नवीन विधियों, गतिशील विषम मॉडल एकत्रीकरण (FedDH) और अनुकूली ड्रॉपआउट (FedAD) को जोड़ता है। FedDH गैर-IID डेटा समस्या का समाधान करने के लिए डेटा विविधता की मात्रा के अनुसार प्रत्येक स्थानीय मॉडल के भार को गतिशील रूप से समायोजित करता है, और FedAD सटीकता और दक्षता में सुधार के लिए विषम उपकरणों के अनुसार न्यूरॉन स्तर पर अनुकूली संगणना करता है। प्रायोगिक परिणाम दर्शाते हैं कि FedDHAD सटीकता (6.7% तक सुधार), दक्षता (2.02x तक सुधार), और गणना लागत (15.0% तक कमी) के मामले में मौजूदा अत्याधुनिक विधियों से बेहतर प्रदर्शन करता है।
Takeaways, Limitations
•
_____टी108_____:
◦
हम एक नवीन ढांचा प्रस्तुत करते हैं जो फेडरेटेड लर्निंग में डेटा विविधता और एज डिवाइसों के सीमित संसाधन को प्रभावी ढंग से संबोधित करता है।
◦
FedDH और FedAD को मिलाकर सटीकता, दक्षता और कम्प्यूटेशनल लागत में एक साथ सुधार किया जाएगा।
◦
मौजूदा संघीय शिक्षा की प्रदर्शन सीमाओं पर काबू पाना और इसकी व्यावहारिक प्रयोज्यता को बढ़ाना।
•
Limitations:
◦
प्रस्तावित विधि का प्रदर्शन विशिष्ट डेटासेट और वातावरण पर निर्भर हो सकता है।
◦
विभिन्न प्रकार के एज डिवाइसों और नेटवर्क वातावरणों के लिए अतिरिक्त प्रयोगों और विश्लेषण की आवश्यकता है।
◦
FedDH और FedAD के हाइपरपैरामीटर अनुकूलन पर आगे अनुसंधान की आवश्यकता है।
