दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

निरंतर सीखने के लिए बहु-स्तरीय ज्ञान आसवन और गतिशील स्व-पर्यवेक्षित शिक्षण

Created by
  • Haebom

लेखक

ताइहोन किम, सैन किम, मिन्ह्युक सेओ, डोंगजे जियोन, वोन्जे जेउंग, जोंगह्युन चोई

रूपरेखा

यह शोधपत्र क्लास इन्क्रीमेंटल लर्निंग और रीकरंट (CIR) सेटिंग पर केंद्रित है, जहाँ पारंपरिक क्लास इन्क्रीमेंटल लर्निंग (CIL) सेटिंग के विपरीत, पहले से सीखी गई कक्षाएं भविष्य के कार्यों में बार-बार दिखाई देती हैं। CIR सेटिंग बाहरी स्रोतों (जैसे, इंटरनेट) से प्रचुर मात्रा में लेबल रहित डेटा तक आसान पहुँच मानती है। इसलिए, हम दो घटकों का प्रस्ताव करते हैं जो CIR सेटिंग में प्रशिक्षित मॉडलों की उच्च स्थिरता और प्लास्टिसिटी सुनिश्चित करने के लिए लेबल रहित डेटा का कुशलतापूर्वक लाभ उठाते हैं। सबसे पहले, हम बहु-स्तरीय ज्ञान आसवन (MLKD) का परिचय देते हैं, जो सुविधाओं और लॉगिट सहित कई दृष्टिकोणों से कई पूर्व मॉडलों से ज्ञान को आसवित करता है, जिससे मॉडल विविध पूर्व ज्ञान को बनाए रख सकता है। इसके अलावा, हम नए वर्गों के सीखने में तेजी लाने के लिए लेबल रहित डेटा का लाभ उठाने हेतु एक गतिशील स्व-पर्यवेक्षित अधिगम हानि (SSL) लागू करते हैं, और SSL का गतिशील भार मुख्य कार्य पर अधिगम फोकस बनाए रखता है। इन दो प्रस्तावित घटकों ने CIR सेटिंग में प्रदर्शन में उल्लेखनीय सुधार किया, जिससे CVPR 5वें CLVISION चैलेंज में दूसरा स्थान प्राप्त हुआ।

Takeaways, Limitations

Takeaways:
हम दर्शाते हैं कि बहु-स्तरीय ज्ञान आसवन (एमएलकेडी) और गतिशील स्व-पर्यवेक्षित शिक्षण हानि (एसएसएल) कक्षा वृद्धिशील शिक्षण और पुनरावृत्ति (सीआईआर) सेटिंग्स में मॉडल स्थिरता और प्लास्टिसिटी में सुधार कर सकते हैं।
प्रचुर मात्रा में लेबल रहित डेटा का कुशलतापूर्वक उपयोग करने की विधि सुझाकर CIR सेटिंग्स में प्रदर्शन सुधार में योगदान देता है।
प्रस्तावित विधि की श्रेष्ठता CVPR 5वें CLVISION चैलेंज में दूसरा स्थान जीतकर सिद्ध हुई।
Limitations:
चूंकि प्रस्तावित विधि का मूल्यांकन केवल एक विशिष्ट डेटासेट और कार्य पर किया गया था, इसलिए अन्य डेटासेट या कार्यों पर इसके सामान्यीकरण प्रदर्शन के लिए और अधिक शोध की आवश्यकता है।
यह धारणा कि समृद्ध लेबल रहित डेटा बाहरी स्रोतों से आसानी से उपलब्ध है, हमेशा संतुष्ट नहीं हो सकती।
बहु-चरणीय ज्ञान आसवन और गतिशील स्व-पर्यवेक्षित शिक्षण हानि के हाइपरपैरामीटर अनुकूलन पर विस्तृत चर्चा का अभाव।
👍