본 논문은 고품질 데이터 부족으로 인해 다양한 품질 수준의 데이터로 훈련되는 대규모 언어 모델(LLM)에서, 데이터 품질에 따라 정렬된 커리큘럼 기반 사전 훈련의 효과를 분석합니다. 기존 연구에서 커리큘럼 기반 훈련의 제한적인 성능 향상을 보인 원인을, 데이터 품질 순서와 학습률(LR) 감소 일정 간의 비호환성으로 파악했습니다. 특히, 표준 LR 감소 일정을 사용하면 커리큘럼 기반 훈련의 이점이 감소한다는 것을 발견했습니다. 본 연구는 이 문제를 해결하기 위해 (1) 완만한 LR 감소 일정 사용, (2) LR 감소 대신 모델 평균화 적용의 두 가지 간단한 전략을 제시했습니다. 이러한 전략을 결합하여, 추가적인 데이터 정제 없이도 표준 벤치마크에서 무작위 섞기보다 평균 1.64% 향상을 달성했습니다. 15억 개의 파라미터를 가진 모델을 300억 개의 토큰으로 훈련한 실험을 통해, 커리큘럼 기반 LLM 사전 훈련의 재평가를 요구하며, 데이터 커리큘럼과 최적화 방법의 공동 설계를 강조합니다.
