본 논문은 대규모 언어 모델(LLM)의 지속적 사전 훈련(CPT)을 통해 새로운 언어 능력을 습득하고 새로운 도메인에 적응하는 방법을 연구합니다. 특히, 추가 언어 또는 도메인 말뭉치의 혼합 비율과 같은 주요 하이퍼파라미터의 최적 선택이 모델 성능에 미치는 영향을 체계적으로 분석합니다. Llama-3 8B 및 70B 모델을 사용하여 중국어 능력 향상을 위한 CPT를 수행하고, 8B 모델에서 추가 언어 혼합 비율(ALMR)과 학습률(LR) 간의 최적 상관관계를 연구하여 최적의 실험 설정을 도출합니다. 하이퍼파라미터를 신중하게 선택하고 미세 조정을 거쳐 중국어 관련 벤치마크뿐 아니라 수학, 코딩, 감성 지능 등 특정 도메인에서도 모델 성능을 향상시켰으며, 최종 70B 모델을 실제 채팅 시스템에 배포하여 만족스러운 성능을 얻었습니다.
