यह शोधपत्र एक विशेष प्रकार के डीप न्यूरल नेटवर्क (DNN) का अध्ययन करता है, जहाँ इनपुट और आउटपुट वेक्टर का आयाम समान होता है। ऐसे DNN का व्यापक रूप से ऑटोएनकोडर जैसे अनुप्रयोगों में उपयोग किया जाता है। यह शोधपत्र निश्चित बिंदुओं (FPs) के संदर्भ में ऐसे नेटवर्क के प्रशिक्षण की विशेषता बताता है और यादृच्छिक रूप से आरंभ किए गए DNN के वेट मैट्रिक्स वितरण पर निश्चित बिंदुओं की संख्या और उनकी स्थिरता की निर्भरता का अध्ययन करता है। विशेष रूप से, हम भारी-पूंछ और हल्के-पूंछ वितरण के साथ iid यादृच्छिक भार पर विचार करते हैं। हमारे शोध लक्ष्य दोहरे हैं। सबसे पहले, हम वितरण पूंछ के प्रकार पर निश्चित बिंदुओं की संख्या और उनकी स्थिरता की निर्भरता को प्रकट करते हैं। दूसरा, हम DNN की वास्तुकला पर निश्चित बिंदुओं की संख्या की निर्भरता को प्रकट करते हैं। व्यापक सिमुलेशन के माध्यम से, हम दिखाते हैं कि हल्के-पूंछ वाले (जैसे, गॉसियन) वितरण के लिए, जो आमतौर पर आरंभीकरण के लिए उपयोग किए जाते हैं, विभिन्न आर्किटेक्चर में एक स्थिर निश्चित बिंदु मौजूद होता है। इसके विपरीत, भारी-पूंछ वाले वितरण (जैसे, कॉची) के लिए, जो आमतौर पर प्रशिक्षित DNN में पाए जाते हैं, कई निश्चित बिंदु दिखाई देते हैं। ये स्थिर बिंदु स्थिर आकर्षक होते हैं, और उनके आकर्षक डोमेन इनपुट वेक्टर के डोमेन को विभाजित करते हैं। हम एंकर पॉइंट्स $Q(L)$ की संख्या और DNN की गहराई $L$ के बीच एक दिलचस्प गैर-मोनोटोनिक संबंध भी देखते हैं। ये परिणाम सबसे पहले अप्रशिक्षित DNN के लिए आरंभीकरण के समय दो प्रकार के वितरण के साथ प्राप्त किए गए थे, और फिर प्रशिक्षण के दौरान भारी-पूंछ वाले वितरण को प्रदर्शित करने वाले DNN पर विचार करके मान्य किए गए थे।
