StableGrad: Backward Scale Control without Batch Normalization

작성자

Haebom

카테고리

Empty

저자

Jose I. Mestre, Alberto Fernandez-Hernandez, Cristian Perez-Corral, Manuel F. Dolz, Enrique S. Quintana-Orti

💡 개요

본 논문은 배치 정규화(Batch Normalization) 없이 깊은 신경망 훈련 시 발생하는 불안정성을 해결하기 위해 StableGrad라는 새로운 최적화기 레벨의 스케일 제어 메커니즘을 제안합니다. StableGrad는 순방향 모델을 수정하지 않고 역전파 후 가중치-그래디언트의 불균형을 수정하여, 특히 배치 정규화가 부적합한 물리 정보 신경망(PINN) 및 배치 정규화를 제거한 CNN에서 훈련 안정성을 크게 향상시킵니다.

🔑 시사점 및 한계

•

배치 정규화와 같은 순방향 정규화 기법 없이도 깊은 신경망의 훈련 안정성을 확보할 수 있는 새로운 접근 방식을 제시합니다.

•

물리 정보 신경망(PINN) 분야에서 배치 정규화의 부적합성을 해결하고, 더 깊은 모델의 정확도와 신뢰성을 향상시키는 데 기여합니다.

•

배치 정규화를 제거했을 때 훈련 붕괴가 발생하는 ResNet, EfficientNet과 같은 일반적인 CNN에서도 훈련을 안정화시키는 효과를 보여, 광범위한 적용 가능성을 시사합니다.

•

StableGrad의 이론적 분석을 통해 효과적인 훈련 역학을 설명하지만, 특정 아키텍처나 문제 유형에 대한 최적의 스케일링 전략 탐색, 또는 추가적인 복잡한 문제에 대한 확장성 검증은 향후 연구 과제로 남습니다.

PDF 보기

Made with Slashpage