Cet article présente Mismatched Eraser (MEraser), une technique d'empreinte digitale basée sur des portes dérobées, visant à répondre aux préoccupations relatives à la propriété et à la protection de la propriété intellectuelle dans les modèles de langage à grande échelle (LLM). MEraser supprime efficacement les empreintes digitales basées sur des portes dérobées tout en préservant les performances du modèle grâce à une stratégie de réglage fin en deux étapes utilisant des jeux de données non appariés et normaux. Grâce à des évaluations approfondies de diverses architectures LLM et méthodes d'empreinte digitale, nous démontrons que MEraser permet une empreinte digitale complète tout en préservant les performances du modèle, même avec un petit jeu de données d'apprentissage de moins de 1 000 échantillons. De plus, nous introduisons un mécanisme d'effacement transférable qui permet une empreinte digitale efficace sans apprentissage répétitif entre les modèles. En conclusion, cet article propose une solution pratique pour l'empreinte digitale dans les LLM, expose les vulnérabilités des techniques actuelles d'empreinte digitale et présente des critères d'évaluation complets pour le développement de méthodes de protection de modèle plus robustes.
