Cet article étudie une technique de fusion de modèles combinant plusieurs modèles pré-entraînés en un seul, sans apprentissage supplémentaire. Nous présentons notamment une méthodologie visant à empêcher les pirates d'exploiter à moindre coût des fonctionnalités spécialisées grâce à la fusion de modèles. Alors que les méthodes existantes, telles que le tatouage numérique ou l'empreinte digitale, ne détectent la fusion qu'après coup, cet article propose la première technique de défense proactive contre la fusion de modèles. Cette technique de défense modifie les paramètres du modèle de sorte que sa fonction soit dégradée lors de la fusion avec d'autres modèles, mais qu'elle soit maintenue en l'absence de fusion. Elle comprend deux modules, le réarrangement des paramètres MLP et la mise à l'échelle de la tête d'attention, qui dégradent significativement les performances de fusion avec d'autres modèles en déplaçant le modèle hors du bassin partagé dans l'espace des paramètres. Grâce à des expériences approfondies sur la classification et la génération d'images, ainsi que sur la classification de textes, nous montrons que la technique de défense proposée entrave sérieusement la fusion tout en préservant la fonction du modèle. Nous analysons également les attaques adaptatives potentielles et proposons une méthode d'élagage supplémentaire basée sur les pertes de données pour améliorer la robustesse de la technique proposée.
