본 논문은 대규모 언어 모델에서 지속적 사전 훈련(CPT)의 학습 역동성을 탐구합니다. 특히 일반적인 성능과 하위 작업 도메인 성능이 각 훈련 단계에서 어떻게 진화하는지, 도메인 성능은 검증 손실을 통해 측정하여 분석합니다. CPT 손실 곡선이 분포 이동과 학습률 어닐링의 효과를 분리하여 설명될 수 있는, 하나의 곡선에서 다른 숨겨진 곡선으로의 전환을 근본적으로 특징짓는다는 것을 발견했습니다. 두 요소를 결합한 CPT 스케일링 법칙을 도출하여 CPT에서 모든 (지속적인) 훈련 단계와 학습률 일정(LRS)에 걸쳐 손실을 예측할 수 있게 했습니다. 본 논문의 공식은 손실 잠재력, 최대 학습률, 훈련 단계, 재생 비율 등 CPT의 여러 중요한 요소에 대한 포괄적인 이해를 제공합니다. 또한, 일반적인 성능과 도메인 특정 성능의 균형을 맞추는 등 다양한 CPT 목표에 맞게 훈련 하이퍼파라미터를 사용자 지정하는 데 적용할 수 있습니다. 광범위한 실험을 통해 다양한 CPT 데이터셋과 훈련 하이퍼파라미터에서 스케일링 법칙이 성립함을 보여줍니다.
