Este artículo presenta Mismatched Eraser (MEraser), una técnica de huellas digitales basada en backdoors que aborda las preocupaciones sobre la propiedad y la protección de la propiedad intelectual en modelos lingüísticos a gran escala (LLM). MEraser elimina eficazmente las huellas digitales basadas en backdoors, manteniendo el rendimiento del modelo mediante una estrategia de ajuste fino en dos etapas que utiliza conjuntos de datos no coincidentes y normales. Mediante evaluaciones exhaustivas de diversas arquitecturas LLM y métodos de huellas digitales, demostramos que MEraser logra una huella digital completa, manteniendo el rendimiento del modelo incluso con un conjunto de datos de entrenamiento reducido de menos de 1000 muestras. Además, presentamos un mecanismo de borrador transferible que permite una huella digital efectiva sin necesidad de entrenamiento repetitivo entre modelos. En conclusión, este artículo proporciona una solución práctica para la huella digital en LLM, expone las vulnerabilidades de las técnicas actuales de huella digital y presenta criterios de evaluación exhaustivos para el desarrollo de métodos de protección de modelos más robustos.
