Este artículo presenta un método para descubrir y alinear características en los puntos de control del modelo mediante codificadores cruzados dispersos para comprender cuándo y cómo emergen habilidades lingüísticas específicas durante el preentrenamiento de modelos lingüísticos a gran escala (LLM). Nuestro objetivo es superar las limitaciones de los enfoques de evaluación comparativa existentes y comprender el entrenamiento de modelos a nivel conceptual. Específicamente, entrenamos codificadores cruzados en tres pares de puntos de control de código abierto con variación significativa en el rendimiento y la representación, e introducimos una métrica novedosa, el efecto indirecto relativo (RelIE), para rastrear las fases de entrenamiento en las que las características individuales adquieren importancia causal para el rendimiento de la tarea. Demostramos que esto permite detectar la emergencia, la retención y la disrupción de características durante el preentrenamiento. Este método, independiente de la arquitectura y altamente escalable, ofrece una vía prometedora hacia el análisis interpretable y detallado del aprendizaje de la representación en el preentrenamiento.
