본 논문은 부드러운 활성화 함수를 가진 신경망 학습에 대한 Gauss-Newton 역학의 수렴성을 분석합니다. 저 매개변수 영역에서는 Gauss-Newton 기울기 흐름이 유클리드 출력 공간의 저차원, 매끄러운, 임베디드 부분 다양체 상에서 리만 기울기 흐름을 유도합니다. 리만 최적화 도구를 사용하여, 그램 행렬의 조건 수에 관계없이 명시적인 규제 없이 최적의 클래스 내 예측자에 대한 리만 기울기 흐름의 마지막 반복 수렴을 지수 속도로 증명합니다. 또한 신경망 스케일링 계수와 초기화가 수렴 동작에 미치는 중요한 영향을 특징짓습니다. 과매개변수 영역에서는 적절히 선택된 감쇠 일정을 가진 Levenberg-Marquardt 역학이 저매개변수 영역과 유사하게 잠재적으로 불량 조건의 신경 탄젠트 커널 행렬에도 불구하고 빠른 수렴 속도를 제공함을 보여줍니다. 이러한 결과는 특히 커널 및 그램 행렬이 작은 특이값을 갖는 불량 조건 문제에서 초기화 근처 영역에서 신경망을 효율적으로 최적화하기 위한 Gauss-Newton 방법의 잠재력을 보여줍니다.
