본 논문은 장단기 기억(LSTM) 모델 학습 과정에서 과적합 이후 테스트 손실이 여러 번 상승과 하강을 반복하는 새로운 '다중 하강(multiple-descent)' 현상을 관찰하였습니다. 모델의 점근적 안정성 분석을 통해 테스트 손실의 순환이 질서와 혼돈 사이의 상전이 과정과 밀접하게 관련되어 있으며, 국소적 최적 에포크는 두 상 사이의 임계 전이 지점에 일관되게 위치함을 밝혔습니다. 특히, 전역적 최적 에포크는 질서에서 혼돈으로의 첫 번째 전이 지점에서 발생하는데, 이 지점에서 '혼돈의 가장자리(edge of chaos)'의 '폭'이 가장 넓어 학습을 위한 더 나은 가중치 구성을 가장 잘 탐색할 수 있습니다.
