본 논문은 신경망의 구성 구조가 최적화 풍경 및 학습 역학에 미치는 영향을 연구한다. 과도하게 매개변수화된 최적화 문제와 관련된 기울기 흐름을 분석하며, 이는 선형 활성화를 가진 신경망 학습으로 해석될 수 있다. 적절하고 실수 해석적인 모든 비용 함수에 대해 전역 수렴 특성을 도출할 수 있음을 보여준다. 스칼라 값 비용 함수에 대한 분석을 통해 풍경의 기하학적 구조를 완전히 특성화하고, 안장점의 위치와 안정성과 같은 주요 구조적 특징이 문제 특정 세부 사항이 아닌 과도 매개변수화된 표현에만 의존하여 모든 허용 가능한 비용에 걸쳐 보편적임을 입증한다. 또한, 본 연구에서 도입한 불균형 지표를 통해 초기화에 따라 수렴을 임의로 가속화할 수 있음을 보여준다. 마지막으로, 이러한 통찰력이 시그모이드 활성화를 가진 신경망으로 일반화될 수 있는 방법을 논의하고, 간단한 예시를 통해 선형 경우를 넘어 지속되는 기하학적 및 동적 속성을 제시한다.
