Cet article présente BadPromptFL, la première attaque par porte dérobée visant l'apprentissage fédéré par invites (PromptFL) dans les modèles d'apprentissage contrastif multimodal. BadPromptFL implique qu'un client compromis optimise conjointement les déclencheurs de porte dérobée locaux et les intégrations d'invites afin d'injecter des invites malveillantes dans le processus d'agrégation global. Ces invites malveillantes sont ensuite propagées vers des clients bénins, permettant l'activation universelle de la porte dérobée lors de l'inférence sans modifier les paramètres du modèle. Exploitant le comportement d'apprentissage contextuel de l'architecture de type CLIP, BadPromptFL atteint un taux de réussite élevé (par exemple, > 90 %) avec une visibilité minimale et une implication client limitée. Des expériences approfondies sur divers ensembles de données et protocoles d'agrégation démontrent l'efficacité, la furtivité et la généralisabilité de cette attaque, soulevant de sérieuses inquiétudes quant à la robustesse de l'apprentissage fédéré par invites dans les déploiements réels.
