La personalización de modelos de difusión con datos limitados plantea desafíos significativos, como el sobreajuste, la pérdida de conocimiento previo y la alineación deficiente del texto. El sobreajuste provoca cambios en la distribución de las predicciones de ruido, lo que dificulta el proceso de eliminación de ruido y hace que el modelo pierda consistencia semántica. En este artículo, proponemos el aprendizaje personalizado adaptativo (APT), un nuevo marco que mitiga el sobreajuste mediante estrategias de aprendizaje adaptativo y la regulación de la representación interna del modelo durante el ajuste fino. El APT consta de tres componentes principales: (1) coordinación del aprendizaje adaptativo, que detecta el grado de sobreajuste en cada intervalo de tiempo mediante la introducción de una métrica de sobreajuste y aplica aumento de datos adaptativo y ponderación de pérdida adaptativa con base en esta métrica; (2) estabilización de la representación, que regula la media y la varianza de los mapas de características intermedios para evitar cambios excesivos en las predicciones de ruido; y (3) preservación del conocimiento previo para la alineación de la atención, que alinea los mapas de atención cruzada del modelo ajustado con los del modelo preentrenado para mantener el conocimiento previo y la consistencia semántica. Amplios experimentos demuestran que la APT supera a los métodos existentes a la hora de mitigar eficazmente el sobreajuste, preservar el conocimiento previo y generar imágenes diversas y de alta calidad con datos de referencia limitados.
