Cet article étudie un type particulier de réseau neuronal profond (DNN) où les vecteurs d'entrée et de sortie ont la même dimension. Ces DNN sont largement utilisés dans des applications telles que les auto-encodeurs. Cet article caractérise l'apprentissage de ces réseaux en termes de points fixes (PF) et étudie la dépendance du nombre de points fixes et de leur stabilité sur la distribution de la matrice de pondération des DNN initialisés aléatoirement. Nous considérons plus particulièrement des poids aléatoires iid avec des distributions à queue lourde et à queue légère. Nos objectifs de recherche sont doubles. Premièrement, nous démontrons la dépendance du nombre de points fixes et de leur stabilité sur le type de queue de distribution. Deuxièmement, nous démontrons la dépendance du nombre de points fixes sur l'architecture du DNN. Grâce à des simulations approfondies, nous montrons que pour les distributions à queue légère (par exemple, gaussiennes), couramment utilisées pour l'initialisation, il existe un seul point fixe stable dans diverses architectures. En revanche, pour les distributions à queue lourde (par exemple, Cauchy), fréquemment rencontrées dans les DNN entraînés, plusieurs points fixes apparaissent. Ces points fixes sont des attracteurs stables, et leurs domaines attractifs partitionnent le domaine du vecteur d'entrée. Nous observons également une relation non monotone intéressante entre le nombre de points d'ancrage $Q(L)$ et la profondeur $L$ du DNN. Ces résultats ont d'abord été obtenus pour des DNN non entraînés avec deux types de distributions à l'initialisation, puis validés en considérant des DNN présentant des distributions à queue lourde pendant l'entraînement.
