Los modelos de difusión destacan en la generación de datos de alta dimensión, pero su eficiencia de entrenamiento y calidad de representación son inferiores a las de los métodos de aprendizaje autosupervisado. Este artículo revela que la falta de representaciones de alta calidad y semánticamente ricas durante el entrenamiento constituye un cuello de botella clave. El análisis sistemático identifica una región crucial de procesamiento de la representación (capa inicial) donde el aprendizaje de patrones semánticos y estructurales ocurre principalmente antes de que el modelo realice la generación. Para abordar esto, proponemos Embedded Representation Warmup (ERW), un marco listo para usar que inicializa la capa inicial de un modelo de difusión con representaciones preentrenadas de alta calidad, actuando como un precalentamiento. Este precalentamiento reduce la carga de aprendizaje de representaciones desde cero, acelerando así la convergencia y mejorando el rendimiento. La eficacia de ERW reside en su integración precisa en una capa específica de la red neuronal (la región de procesamiento de la representación), donde el modelo procesa y transforma principalmente las representaciones de características para su posterior generación. ERW no solo acelera la convergencia del entrenamiento sino que también mejora la calidad de la representación, logrando experimentalmente una aceleración del entrenamiento de 40 veces en comparación con el método de última generación existente, REPA.
