Cet article présente BadPromptFL, une nouvelle attaque par porte dérobée ciblant l'apprentissage fédéré par invites (PromptFL) dans les modèles d'apprentissage contrastif multimodal. BadPromptFL injecte des invites malveillantes dans le processus d'agrégation global en faisant en sorte que les clients compromis optimisent conjointement les déclencheurs de porte dérobée locaux et les intégrations d'invites. Ces invites malveillantes sont ensuite propagées vers des clients bénins, permettant l'activation universelle de la porte dérobée lors de l'inférence sans modifier les paramètres du modèle. Exploitant le comportement d'apprentissage contextuel d'une architecture de type CLIP, BadPromptFL atteint un taux de réussite élevé (par exemple, > 90 %) avec une visibilité minimale et une implication client limitée. Des expériences approfondies sur divers ensembles de données et protocoles d'agrégation démontrent l'efficacité, la furtivité et la généralisabilité de l'attaque, soulevant de sérieuses inquiétudes quant à la robustesse de l'apprentissage fédéré par invites dans les déploiements réels.
