본 논문은 대규모 트랜스포머 모델의 학습 속도를 향상시키기 위해 제안된 새로운 기울기 기반 조기 종료 방법인 GradES를 소개합니다. GradES는 전체 모델의 검증 손실을 모니터링하는 기존 조기 종료 방식의 계산 비용 문제를 해결하고자, 트랜스포머 내의 각 구성 요소(어텐션 프로젝션 및 Feed-Forward 레이어 행렬)의 기울기 변화량을 추적합니다. 특정 행렬의 기울기 변화량이 수렴 임계값 이하로 떨어지면 해당 행렬의 업데이트를 중단하여 불필요한 검증 단계를 없애고, 과적합을 방지합니다. 그 결과, GradES는 학습 시간을 1.57~7.22배 단축시키면서도 언어 작업에서 평균 1.2% 향상된 정확도를, 다중 모드 벤치마크에서 3.88% 향상된 정확도를 달성했습니다.
