신경망의 손실 랜드스케이프에는 평평한 영역에서 연결되거나 고립되어 나타날 수 있는 최소값과 안장점이 포함되어 있습니다. 본 논문에서는 손실이 매우 느리게 감소하는 채널을 식별하고 특징짓습니다. 이러한 채널을 따라 두 개 이상의 뉴런($a_i$ 및 $a_j$)의 출력 가중치는 $\pm$무한대로 발산하고, 입력 가중치 벡터($\mathbf{w_i}$ 및 $\mathbf{w_j}$)는 서로 같아집니다. 수렴 시, 두 뉴런은 게이트 선형 유닛을 구현합니다. 기하학적으로, 무한대로 향하는 이러한 채널은 대칭으로 유도된 임계점의 선에 점근적으로 평행합니다. 경사 흐름 솔버 및 SGD 또는 ADAM과 같은 관련 최적화 방법은 다양한 회귀 설정에서 높은 확률로 채널에 도달하지만, 주의 깊은 검사 없이는 유한한 매개변수 값을 가진 평평한 지역 최소값처럼 보입니다. 본 연구는 경사 역학, 기하학 및 기능적 해석 측면에서 이러한 준평평 영역에 대한 포괄적인 그림을 제공합니다. 채널의 끝에서 게이트 선형 유닛의 출현은 완전 연결 레이어의 계산 능력의 놀라운 측면을 강조합니다.
