본 논문은 입력 벡터와 출력 벡터의 차원이 같은 특수한 심층 신경망(DNN)에 대해 연구합니다. 이러한 DNN은 오토인코더와 같은 응용 분야에서 널리 사용됩니다. 본 논문은 이러한 네트워크의 훈련을 고정점(FP)으로 특징지으며, 무작위로 초기화된 DNN의 가중치 행렬 분포에 따른 고정점의 수와 안정성에 대한 의존성을 연구합니다. 특히, 무거운 꼬리와 가벼운 꼬리 분포를 가진 i.i.d. 무작위 가중치를 고려합니다. 연구 목표는 두 가지입니다. 첫째, 고정점의 수와 안정성에 대한 분포 꼬리 유형의 의존성을 밝히는 것입니다. 둘째, DNN의 구조에 따른 고정점 수의 의존성을 밝히는 것입니다. 광범위한 시뮬레이션을 통해 초기화에 일반적으로 사용되는 가벼운 꼬리(예: 가우시안) 분포의 경우 다양한 구조에서 하나의 안정적인 고정점이 존재함을 보였습니다. 반대로, 훈련된 DNN에서 일반적으로 나타나는 무거운 꼬리 분포(예: 코시)의 경우 여러 개의 고정점이 나타납니다. 이러한 고정점은 안정적인 인력자이며, 그들의 인력 영역은 입력 벡터의 영역을 분할합니다. 또한, 고정점의 수 $Q(L)$와 DNN의 깊이 $L$ 사이의 흥미로운 비단조 관계를 관찰했습니다. 이러한 결과는 초기화 시 두 가지 유형의 분포를 가진 훈련되지 않은 DNN에 대해 먼저 얻어졌으며, 무거운 꼬리 분포가 훈련 중에 나타나는 DNN을 고려하여 검증되었습니다.
