En este artículo, investigamos cuánto aprende el modelo destilado los patrones de estilo superficiales (patrones estructurales y léxicos) que aparecen en el proceso de razonamiento del modelo original durante el proceso de destilación de conocimiento para mejorar la capacidad de razonamiento de un modelo de lenguaje a gran escala (LLM). Para ello, analizamos los patrones estructurales y léxicos de procesos de razonamiento exitosos y presentamos dos nuevos conjuntos de datos de trazas de razonamiento (trazas de razonamiento emergentes y un conjunto de datos sintéticos que replica artificialmente los patrones de estilo) para analizar con precisión sus efectos en la capacidad de razonamiento del modelo destilado. Los resultados experimentales muestran que los modelos entrenados en los conjuntos de datos sintéticos logran un rendimiento similar, lo que demuestra que la capacidad de razonamiento destilado depende en gran medida de los patrones de estilo superficiales. Sorprendentemente, observamos que el rendimiento mejora incluso cuando las trazas sintéticas se modifican para conducir a respuestas incorrectas. Esto sugiere que los patrones de estilo pueden utilizarse para mejorar eficientemente la capacidad de razonamiento de los LLM en una variedad de modelos.
