본 논문은 확률적 경사 하강법을 통한 심층 신경망 학습을 이해하고 가속화하기 위한 통합 프레임워크를 제시합니다. 목적 함수의 기하학적 풍경을 분석하여, 안정적인 최소점으로의 진정한 수렴과 안장점 근처의 단순한 통계적 안정화를 구별하는 실행 가능한 진단 지표인 최대 Lyapunov 지수의 실행 추정치를 도입합니다. 또한, 표준 분류기에 보조적인 고스트 출력 노드를 추가하는 고스트 범주 확장을 제안하여, 모델이 좁은 손실 장벽 주변에 측면 통로를 열고 최적화기가 초기 훈련 단계에서 불량한 분지를 우회할 수 있도록 추가적인 하강 방향을 얻도록 합니다. 이 확장은 근사 오차를 엄격하게 감소시키고, 충분한 수렴 후에는 고스트 차원이 붕괴되어 확장된 모델의 불변 법칙이 원래 모델의 불변 법칙과 일치하며, 총 손실이 증가하지 않으면서 원래 손실이 임의의 마진만큼 감소하는 확장된 매개변수 공간 내 경로가 존재함을 보여줍니다. 결론적으로, 이러한 결과는 점근적 동작을 유지하면서 초기 단계의 학습 가능성을 가속화하는 원칙적인 아키텍처 수준의 개입을 제공합니다.
