Cet article analyse la vulnérabilité des modèles de langage à grande échelle (LLM) et des modèles de langage vision (VLM) afin d'identifier la cause de leur forte sensibilité aux petits changements. Nous proposons une nouvelle mesure de stabilité, l'influence locale de premier ordre (FI), basée sur la géométrie de l'information pour quantifier la sensibilité des paramètres individuels et des dimensions d'entrée (intégrations de pixels ou de jetons). En analysant divers LLM et VLM avec des paramètres allant de 1,5 milliard à 13 milliards, nous révélons qu'un petit nombre de paramètres ou de dimensions d'entrée avec des valeurs FI élevées contribuent de manière disproportionnée à la vulnérabilité des modèles, et montrons que l'atténuation de l'influence de ces paramètres vulnérables contribue à améliorer les performances du modèle.
