Dans cet article, nous proposons une nouvelle méthode d'élagage structurel, l'élagage structuré basé sur la régularisation en deux étapes (TRSP), pour un déploiement efficace des modèles de langage à grande échelle (LLM). Contrairement aux méthodes existantes, TRSP réduit la taille du modèle tout en préservant les informations importantes grâce à un processus de régularisation en deux étapes, au lieu de supprimer directement les paramètres inutiles. Lors de la première étape, la sortie de chaque couche de transformateur est multipliée par un poids apprenable, et la norme $\ell_1$ est ajoutée comme terme de régularisation pour apprendre les poids. Lors de la deuxième étape, une régularisation supplémentaire est appliquée à la différence entre l'entrée et la sortie de la couche de faible poids afin de déplacer l'information vers la couche préservée. Les résultats expérimentaux montrent que TRSP surpasse les méthodes robustes d'élagage structurel par couche existantes sans réapprentissage et offre un gain de temps significatif.
