La personnalisation des modèles de diffusion à partir de données limitées pose des défis importants, tels que le surapprentissage, la perte de connaissances a priori et un mauvais alignement du texte. Le surapprentissage modifie la distribution des prédictions de bruit, ce qui entrave le processus de débruitage et entraîne une perte de cohérence sémantique du modèle. Dans cet article, nous proposons l'apprentissage personnalisé adaptatif (APT), un nouveau cadre qui atténue le surapprentissage en utilisant des stratégies d'apprentissage adaptatif et en régulant la représentation interne du modèle lors du réglage fin. L'APT se compose de trois éléments principaux : (1) la coordination de l'apprentissage adaptatif, qui détecte le degré de surapprentissage à chaque intervalle de temps en introduisant une métrique de surapprentissage et applique une augmentation adaptative des données et une pondération adaptative des pertes en fonction de cette métrique ; (2) la stabilisation de la représentation, qui régule la moyenne et la variance des cartes de caractéristiques intermédiaires afin d'éviter des variations excessives dans les prédictions de bruit ; et (3) la préservation des connaissances a priori pour l'alignement de l'attention, qui aligne les cartes d'attention croisée du modèle affiné avec celles du modèle pré-entraîné afin de maintenir les connaissances a priori et la cohérence sémantique. Des expériences approfondies démontrent qu'APT surpasse les méthodes existantes en atténuant efficacement le surapprentissage, en préservant les connaissances antérieures et en générant des images de haute qualité et diversifiées avec des données de référence limitées.
