Cet article analyse systématiquement les attaques par empoisonnement sur la technique d'inversion textuelle (IT) des modèles de diffusion (MD). Nous présentons d'abord les cartes de sensibilité sémantique, une nouvelle méthode permettant de visualiser l'impact des attaques par empoisonnement sur les intégrations textuelles. Ensuite, nous démontrons expérimentalement que les MD présentent un comportement d'apprentissage non uniforme selon les pas de temps, en nous concentrant particulièrement sur les échantillons à faible bruit. Les attaques par empoisonnement exploitent ce biais en injectant des signaux antagonistes principalement aux pas de temps courts. Enfin, nous observons que les signaux antagonistes perturbent l'apprentissage des régions conceptuelles pertinentes pendant l'apprentissage, compromettant ainsi le processus d'IT. Sur la base de ces observations, nous proposons l'entraînement en zone de sécurité (SZT), un nouveau mécanisme de défense composé de trois éléments principaux : 1. atténuation des signaux d'empoisonnement haute fréquence via la compression JPEG ; 2. restriction des pas de temps longs pour éviter les signaux antagonistes aux pas de temps courts ; et 3. masquage des pertes pour restreindre l'apprentissage aux régions pertinentes. Grâce à des expériences approfondies sur diverses attaques d'empoisonnement, nous montrons que SZT améliore considérablement la robustesse du TI contre toutes les attaques d'empoisonnement et améliore la qualité de génération par rapport aux défenses précédemment publiées.
