장기간 대규모 언어 모델(LLM)을 훈련하는 동안, 훈련의 후반부에서 기울기 놈(gradient norm)이 급격하게 증가하는 현상이 관찰됩니다. 이 단편적인 논문에서는 이러한 증가가 가중치 감소(weight decay), 정규화 계층(normalization layers), 그리고 학습률 스케줄(learning rate schedule) 사이의 의도치 않은 상호 작용 때문임을 보여줍니다. 본 논문에서는 훈련 전반에 걸쳐 더 낮은 손실 값을 얻으면서 이러한 현상을 해결하는 간단한 수정 방법을 제안합니다.
