Dans cet article, nous analysons systématiquement les attaques par empoisonnement sur les modèles de diffusion (MD) par inversion de texte (IT). Nous présentons d'abord les cartes de sensibilité sémantique, une nouvelle méthode permettant de visualiser les effets de l'empoisonnement sur les intégrations de texte. Nous vérifions expérimentalement que les MD présentent des comportements d'apprentissage non uniformes à travers les pas de temps, en nous concentrant particulièrement sur les échantillons à faible bruit. Les attaques par empoisonnement héritent de ce biais en injectant des signaux antagonistes principalement à des pas de temps courts. Nous observons également que les signaux antagonistes corrompent le processus d'IT en détournant l'apprentissage des régions conceptuelles pertinentes des données d'entraînement. Sur la base de ces observations, nous proposons l'entraînement en zone de sécurité (SZT), un nouveau mécanisme de défense composé de trois éléments principaux : (1) la compression JPEG pour affaiblir les signaux d'empoisonnement à haute fréquence ; (2) la limitation des pas de temps élevés pendant l'entraînement de l'IT pour éviter les signaux antagonistes à des pas de temps courts ; et (3) le masquage des pertes pour limiter l'apprentissage aux régions pertinentes. Grâce à des expériences approfondies sur plusieurs méthodes d'empoisonnement, nous montrons que SZT améliore considérablement la robustesse du TI contre toutes les attaques d'empoisonnement et améliore la qualité de génération par rapport aux défenses précédemment publiées.
