Dans cet article, nous proposons une nouvelle méthode d'élagage, DReSS, pour pallier les coûts de calcul et de mémoire élevés des modèles de langage à grande échelle (LLM). Pour remédier au problème de dégradation des performances engendrée par les méthodes d'élagage existantes suite à l'affinage, DReSS propose un nouveau paradigme de normalisation-élagage-affinage. En normalisant la partie élaguée à l'aide d'une petite quantité de données, DReSS réduit la perte d'informations en prétransférant les informations importantes au reste du modèle, et améliore les performances de la modélisation du langage. Les résultats expérimentaux montrent que DReSS surpasse les méthodes existantes, même à des taux d'élagage extrêmes, et réduit considérablement la latence et augmente le débit.
