본 논문은 기계 학습 훈련의 핵심인 손실 함수 최소화에 초점을 맞추어, 계산 비용으로 인해 일반적으로 사용되지 않는 Newton 방법을 포함한 고차 기법의 효율성을 분석하고 개선 방안을 제시한다. 유한 정밀도 산술 연산이 Newton 단계에 미치는 영향을 분석하고 혼합 정밀도 Newton 최적화 방법의 수렴 정리를 확립한다. 또한, 2차 미분 부분 계산을 가능하게 하는 일반화된 Gauss-Newton 방법(GN_k)을 제시하여 회귀 작업에서 Newton 방법과 유사한 성능을 보이면서도 2차 미분 계산 횟수를 줄인다. 실험 결과, 제안된 방법들은 표준 회귀 벤치마크에서 Adam을 능가하는 성능을 보였다.
