Cet article aborde la vulnérabilité des modèles de langage à grande échelle (LLM) aux menaces matérielles, notamment aux attaques par retournement de bits (BFA). Alors que des études antérieures ont démontré que les architectures basées sur des transformateurs sont plus robustes face aux BFA, cet article montre que même quelques retournements de bits peuvent dégrader considérablement les performances des LLM. À cette fin, nous proposons AttentionBreaker, un nouveau framework qui explore efficacement l'espace des paramètres des LLM afin d'identifier les paramètres importants. De plus, nous présentons GenBFA, une stratégie d'optimisation évolutive qui identifie les bits les plus importants et améliore l'efficacité des attaques. Les résultats expérimentaux montrent que même quelques retournements de bits peuvent dégrader considérablement les performances des LLM. Par exemple, dans le modèle LLaMA3-8B-Instruct, la précision des tâches MMLU chute de 67,3 % à 0 %, et la perplexité du Wikitexte passe de 12,6 à 4,72 x 10^5 avec seulement trois retournements de bits. Cela met en évidence l’efficacité d’AttentionBreaker et la vulnérabilité des architectures LLM.
