यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
डीइन्फोरेग: बेहतर प्रशिक्षण प्रवाह के लिए एक पृथक शिक्षण ढांचा
Created by
Haebom
लेखक
ज़िह-हाओ हुआंग, यू-टेंग लिन, हंग-ह्सुआन चेन
रूपरेखा
इस पत्र में, हम एक नवीन दृष्टिकोण, सूचना नियमन के साथ वियुग्मित पर्यवेक्षित अधिगम (DeInfoReg) का प्रस्ताव करते हैं, जो लुप्त ग्रेडिएंट समस्या को कम करने के लिए लंबी ग्रेडिएंट धाराओं को कई छोटी धाराओं में परिवर्तित करता है। एक पाइपलाइनिंग रणनीति को शामिल करके, DeInfoReg कई GPU में मॉडल समानांतरीकरण को सक्षम बनाता है, जिससे प्रशिक्षण थ्रूपुट में उल्लेखनीय सुधार होता है। इस पत्र में, हम प्रस्तावित विधि की तुलना मानक बैकप्रोपेगेशन और अन्य ग्रेडिएंट स्ट्रीम अपघटन तकनीकों से करते हैं। विभिन्न कार्यों और डेटासेट पर व्यापक प्रयोगों के माध्यम से, हम प्रदर्शित करते हैं कि DeInfoReg पारंपरिक BP मॉडलों की तुलना में बेहतर प्रदर्शन और बेहतर शोर प्रतिरोध प्राप्त करता है, जबकि समानांतर कंप्यूटिंग संसाधनों का कुशलतापूर्वक उपयोग करता है। पुनरुत्पादन क्षमता के लिए कोड https://github.com/ianzih/Decoupled-Supervised-Learning-for-Information-Regularization/ पर उपलब्ध है ।
