본 논문은 깊은 신경망의 안정성과 일반화 능력을 결정하는 데 중추적인 역할을 하는 기울기 역학에 대한 경험적 분석을 제공합니다. 컨볼루션 신경망에서 계층별 및 전역적 규모에서 일관된 변화를 보이는 기울기의 분산과 표준 편차의 진화 과정을 분석합니다. 이러한 관찰 결과를 바탕으로, 기울기 스케일링을 자연스러운 진화 과정에 맞추는 초매개변수가 없는 기울기 정규화 방법을 제안합니다. 이 방법은 의도하지 않은 증폭을 방지하고, 최적화를 안정화하며, 수렴 보장을 유지합니다. ResNet-20, ResNet-56, VGG-16-BN을 사용한 어려운 CIFAR-100 벤치마크에 대한 실험을 통해 강력한 일반화 하에서도 테스트 정확도를 유지하거나 개선함을 보여줍니다. 실질적인 성능 향상 외에도, 본 연구는 이론적 기대와 경험적 행동 간의 격차를 해소하고 미래 최적화 연구에 대한 통찰력을 제공하기 위해 기울기 역학을 직접 추적하는 중요성을 강조합니다.
