Este artículo explora cómo los modelos lingüísticos a gran escala (LLM) pueden adquirir nuevas habilidades lingüísticas y adaptarse a nuevos dominios mediante preentrenamiento continuo (CPT). Específicamente, analizamos sistemáticamente el impacto de la selección óptima de hiperparámetros clave, como la proporción de mezcla de idiomas adicionales o corpus de dominio, en el rendimiento del modelo. Realizamos CPT para mejorar la competencia en chino utilizando los modelos Llama-3 8B y 70B, y estudiamos la correlación óptima entre la proporción de mezcla de idiomas adicionales (ALMR) y la tasa de aprendizaje (LR) en el modelo 8B para derivar configuraciones experimentales óptimas. Mediante una cuidadosa selección y ajuste de hiperparámetros, mejoramos el rendimiento del modelo no solo en los puntos de referencia relacionados con el chino, sino también en dominios específicos como matemáticas, programación e inteligencia emocional. Implementamos el modelo 70B final en un sistema de chat del mundo real, logrando un rendimiento satisfactorio.
