दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

डीप न्यूरल नेटवर्क में एक इनबिल्ट ओकम रेजर होता है

Created by
  • Haebom

लेखक

क्रिस मिंगार्ड, हेनरी रीस, गिलर्मो वैले- पेरेज़, आर्ड ए. लुइस

रूपरेखा

ओवरपैरामीटराइज्ड डीप न्यूरल नेटवर्क्स (DNNs) का उल्लेखनीय प्रदर्शन नेटवर्क आर्किटेक्चर, प्रशिक्षण एल्गोरिदम और डेटा की संरचना के बीच परस्पर क्रिया से उत्पन्न होता है। यह शोधपत्र पर्यवेक्षित अधिगम पर बायेसियन परिप्रेक्ष्य लागू करके इन तीनों घटकों को अलग करता है। फलनों की पूर्व संभावनाएँ नेटवर्क द्वारा निर्धारित होती हैं और क्रमिक तथा अराजक व्यवस्थाओं के बीच संक्रमणों का उपयोग करके बदलती रहती हैं। बूलियन फलन वर्गीकरण के लिए, डेटा में फलन के त्रुटि स्पेक्ट्रम का उपयोग करके संभावना का अनुमान लगाया जाता है। पूर्व संभावनाओं के साथ संयुक्त होने पर, यह स्टोकेस्टिक ग्रेडिएंट डिसेंट से प्रशिक्षित DNNs के लिए मापी गई पश्च संभावनाओं का सटीक अनुमान लगाता है। यह विश्लेषण बताता है कि संरचित डेटा और (कोल्मोगोरोव) सरल फलनों (जटिलता के साथ फलनों की संख्या में घातीय वृद्धि का प्रतिकार करने के लिए पर्याप्त प्रबल) के प्रति अंतर्निहित ओकम का रेजर जैसा आगमनात्मक पूर्वाग्रह DNNs की सफलता में एक महत्वपूर्ण कारक है।

____T9512_____, Limitations

Takeaways: अति-पैरामीटरीकृत DNNs की सफलता की एक नई समझ प्रदान करता है। यह दर्शाता है कि डेटा की संरचना और नेटवर्क का अंतर्निहित पूर्वाग्रह एक महत्वपूर्ण भूमिका निभाते हैं। यह बायेसियन परिप्रेक्ष्य का उपयोग करके DNNs की सीखने की प्रक्रिया का विश्लेषण करने के लिए एक नई पद्धति प्रस्तुत करता है।
Limitations: विश्लेषण बूलियन फ़ंक्शन वर्गीकरण तक सीमित है। जटिल वास्तविक-विश्व डेटासेट के लिए सामान्यीकरण सीमित हो सकता है। पश्च प्रायिकताओं के लिए सन्निकटन विधियाँ DNN की विशिष्ट वास्तुकला और प्रशिक्षण एल्गोरिथम पर निर्भर हो सकती हैं।
👍