본 논문은 신경망 학습에 사용되는 확률적 경사 하강법(SGD)이 고차원 비선형 손실 함수 공간을 탐색하는 과정에 대한 이해를 높이기 위해 연구되었습니다. 특히, 손실 함수에 재조정 매개변수 대칭성이 존재할 때 SGD의 미니배치 노이즈가 솔루션을 노이즈 균형 솔루션으로 정규화한다는 것을 보였습니다. 대칭성이 존재할 때 단순 확산 과정과 SGD 역학의 차이가 가장 크다는 점을 이용하여 손실 함수의 대칭성이 SGD 작동 방식을 이해하는 중요한 탐침임을 시사합니다. 이 결과를 바탕으로 임의의 깊이와 너비를 갖는 대각선 선형 네트워크에 대한 확률적 경사 흐름의 정상 상태 분포를 유도하였으며, 상전이, 에르고딕성 붕괴, 변동 반전과 같은 복잡한 비선형 현상을 보임을 밝혔습니다. 이러한 현상들은 깊은 네트워크에서만 독점적으로 존재하며, 깊은 모델과 얕은 모델 간의 근본적인 차이를 시사합니다.
