본 논문은 대규모 언어 모델의 사전 훈련 데이터가 웹 텍스트, 학술 논문, 코드 등 여러 도메인으로 구성되며, 이러한 도메인의 혼합 비율이 최종 모델의 성능에 중대한 영향을 미친다는 점을 다룹니다. 기존 연구에서는 혼합 비율을 조정하기 위해 휴리스틱 또는 정성적 전략에 의존했지만, 본 논문에서는 모델 성능과 혼합 비율 간의 정량적 예측 가능성을 함수 형태로 발견하여 이를 데이터 믹싱 법칙(data mixing laws)이라고 명명합니다. 표본 혼합물에 대한 이러한 함수를 적합시킴으로써 실제 실행 전에 보이지 않는 혼합물에 대한 모델 성능을 예측하고, 따라서 이상적인 데이터 혼합물을 선택하는 데 도움을 줄 수 있습니다. 또한, 훈련 단계, 모델 크기의 스케일링 법칙과 데이터 믹싱 법칙을 중첩하여 사용하여 소규모 훈련만으로 다양한 혼합물에서 대량의 데이터로 훈련된 대규모 모델의 성능을 예측할 수 있도록 합니다. 실험 결과, 본 논문의 방법이 RedPajama에서 100B 토큰에 대해 훈련된 1B 모델의 훈련 혼합물을 효과적으로 최적화하여 기본 혼합물에서 48% 더 많은 단계로 훈련된 모델과 비교할 만한 성능에 도달함을 확인했습니다. 더 나아가, 지속적인 훈련에 데이터 믹싱 법칙을 적용하여 파국적 망각을 피할 수 있는 중요한 혼합 비율을 정확하게 예측하고 동적 데이터 일정의 잠재력을 전망합니다.
