본 논문은 확률적 경사 하강법(SGD)을 통한 심층 신경망 학습을 이해하고 가속화하기 위한 통합 프레임워크를 제시합니다. 목적 함수의 기하학적 지형을 분석하여, 안정적인 최소점으로의 진정한 수렴과 안장점 근처의 단순한 통계적 안정화를 구별하는 실행 가능한 진단 지표인 최대 Lyapunov 지수의 실행 추정치를 도입합니다. 또한, 표준 분류기에 보조 고스트 출력 노드를 추가하는 고스트 범주 확장을 제안하여, 모델이 좁은 손실 장벽 주변에 측면 통로를 열고 최적화기가 초기 학습 단계에서 열악한 분지를 우회할 수 있도록 추가적인 하강 방향을 얻을 수 있도록 합니다. 이 확장은 근사 오차를 엄격하게 줄이고, 충분한 수렴 후에는 고스트 차원이 붕괴되어 확장된 모델이 원래 모델과 일치하며, 확장된 매개변수 공간에서 전체 손실이 증가하지 않는 경로가 존재함을 보여줍니다. 이러한 결과를 종합하면, 초기 단계의 학습 가능성을 가속화하면서 점근적 동작을 유지하고 동시에 아키텍처 친화적인 정규화 역할을 하는 원칙적인 아키텍처 수준의 개입을 제공합니다.
