Cet article propose la décomposition adaptative corrective de bas rang (CALR), une nouvelle méthode qui améliore la technique de décomposition de bas rang en utilisant la décomposition en valeurs singulières (SVD) pour relever les défis du déploiement de modèles de langage à grande échelle (LLM), en particulier leur taille massive et leurs exigences de calcul élevées. Alors que les méthodes de compression existantes basées sur la SVD se concentrent sur la minimisation des erreurs de reconstruction de modèle, ce qui dégrade les performances fonctionnelles, CALR résout ce problème en combinant des couches compressées par SVD avec des modules de correction de bas rang parallèles entraînés pour récupérer les erreurs résiduelles fonctionnelles. Les résultats expérimentaux sur des modèles tels que SmolLM2-135M, Qwen3-0.6B et Llama-3.2-1B démontrent que CALR réduit le nombre de paramètres de 26,93 % et 51,77 %, respectivement, tout en maintenant respectivement 59,45 % et 90,42 % des performances du modèle d'origine, surpassant ainsi les méthodes existantes telles que LaCo, ShortGPT et LoSparse. Cela démontre que le traitement de la perte d’informations fonctionnelles comme un signal apprenable est un paradigme de compression efficace.
