Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Sculpter la mémoire : oubli multi-concepts dans les modèles de diffusion via un masque dynamique et une optimisation tenant compte des concepts

Created by
  • Haebom

Auteur

Gen Li, Yang Xiao, Jie Ji, Kaiyuan Deng, Bo Hui, Linke Guo, Xiaolong Ma

Contour

Les modèles de diffusion texte-image (T2I) ont obtenu des résultats remarquables dans la génération d'images de haute qualité. Cependant, leur capacité à stocker de vastes quantités de connaissances pose des défis lorsqu'un oubli sélectif est requis, comme la suppression de contenu protégé par le droit d'auteur, la réduction des biais ou la suppression de concepts nuisibles. Les méthodes de désapprentissage existantes peuvent supprimer des concepts spécifiques, mais elles peinent à gérer l'oubli multi-concepts en raison de l'instabilité, de la persistance des connaissances résiduelles et de la mauvaise qualité de génération. Pour résoudre ces problèmes, nous proposons dans cet article un nouveau cadre de désapprentissage pour l'oubli multi-concepts dans les modèles de diffusion : le masque dynamique et la perte sensible aux concepts . Le mécanisme du masque dynamique met à jour de manière adaptative le masque de gradient en fonction de l'état d'optimisation actuel, permettant une modification sélective du poids afin d'éviter toute interférence avec des connaissances non pertinentes. De plus, la perte sensible aux concepts guide explicitement le processus de désapprentissage en garantissant la cohérence sémantique grâce à l'alignement des superclasses, tandis que la perte de régularisation basée sur la distillation des connaissances garantit que les concepts précédemment désappris sont continuellement oubliés lors du désapprentissage séquentiel. Des expériences approfondies sont menées pour évaluer la méthode proposée, et les résultats montrent qu'elle surpasse les techniques de désapprentissage existantes en termes d'efficacité de l'oubli, de fidélité des résultats et de cohérence sémantique, notamment dans les scénarios multi-concepts. Ce travail fournit un cadre rigoureux et flexible pour un désapprentissage robuste et haute fidélité à partir de modèles génératifs. Le code sera rendu public.

Takeaways, Limitations

Takeaways:
Un nouveau cadre de désapprentissage qui résout efficacement le problème de l'oubli de plusieurs concepts
Réaliser un désapprentissage stable et de haute qualité grâce à un masque dynamique et une perte consciente des concepts
Suggère une applicabilité dans divers domaines tels que les questions de droits d'auteur, la réduction des préjugés et la suppression de concepts nuisibles
Assurer la reproductibilité et l'extensibilité de la recherche grâce à la fourniture de code ouvert
Limitations:
Des recherches supplémentaires sont nécessaires sur les performances de généralisation de la méthode proposée.
Des expériences approfondies sur divers modèles de diffusion et ensembles de données sont nécessaires.
Exploration des limites et des améliorations potentielles de la méthode de tri de classe supérieure de Concept-Aware Loss
Des problèmes supplémentaires peuvent survenir dans les applications réelles et des recherches sur des solutions sont nécessaires.
👍