본 논문은 근사 2차 최적화 방법이 1차 방법보다 일반화 성능이 떨어지는 현상을 다룹니다. 기존 2차 방법들이 SGD보다 더 날카로운(sharp) 최소점에 수렴하는 경향이 있음을 손실 함수 지형(loss landscape) 관점에서 분석합니다. 이에 따라, 최소점의 날카로움을 명시적으로 줄여 일반화 성능을 향상시키는 새로운 2차 최적화 방법 Sassha를 제안합니다. Sassha는 최적화 과정에서 근사 Hessian 행렬의 계산을 안정화하고, 효율성을 위해 지연 Hessian 업데이트를 고려하여 날카로움 최소화 기법을 설계합니다. 다양한 딥러닝 실험을 통해 Sassha가 다른 방법들과 비교하여 뛰어난 일반화 성능을 보임을 검증하고, 수렴성, 강건성, 안정성, 효율성 및 비용 등을 포함한 포괄적인 분석을 제공합니다.
