본 논문은 대규모 언어 모델(LLM)의 사전 훈련 파이프라인, 특히 분산 훈련, 수백 개 노드에 걸친 대규모 데이터셋 관리, 그리고 사용 가능한 GPU 계산 용량을 완전히 활용하는 데이터 병렬 처리 확장에 대한 이해를 높이는 것을 목표로 합니다. 최첨단 AI 연구 기업들이 점점 더 큰 모델을 엄청난 규모의 데이터셋으로 훈련시키기 위해 수십억 달러를 슈퍼컴퓨팅 인프라에 투자하고 있지만, 이러한 대규모 훈련 파이프라인의 성능 확장 및 훈련 고려 사항에 대한 정보는 공개 자료에서 부족합니다. 따라서 본 논문은 대규모 언어 모델을 확장할 때 훈련 성능을 조정하기 위한 실용적인 권장 사항을 제공하고자 합니다.
