Cet article se concentre sur la fusion de modèles, une solution sans apprentissage qui intègre plusieurs modèles spécifiques à une tâche afin de gérer l'importante charge de calcul et de données associée au réglage fin de modèles de langage à grande échelle (LLM) pré-entraînés pour des tâches spécialisées. Pour résoudre le compromis sécurité-utilité (où une généralité accrue compromet les mesures de sécurité) des méthodes de fusion de modèles existantes, nous identifions deux causes profondes : une mauvaise identification des neurones due à une simple sélection basée sur la taille des paramètres, et une interférence neuronale entre les tâches lors de la fusion. Pour résoudre ces problèmes, nous proposons LED-Merging, un cadre en trois étapes qui identifie les neurones spécifiques à une tâche à l'aide de propriétés basées sur le gradient, sélectionne dynamiquement les neurones importants par fusion d'importance multi-modèles et découple les mises à jour conflictuelles par isolation des paramètres. Des expériences approfondies sur Llama-3-8B, Mistral-7B et Llama2-13B démontrent que la fusion LED réduit efficacement les taux de réponses nocives (réduction de 31,4 % sur HarmBench pour Llama-3-8B-Instruct) tout en maintenant une performance d'utilisabilité de 95 % (précision de 52,39 % sur GSM8K). La fusion LED résout le compromis sécurité-utilité et fournit un paradigme léger et sans apprentissage pour la création de LLM multitâches robustes. Le code est disponible sur GitHub.
