Este artículo propone la Descomposición Correctiva Adaptativa de Bajo Rango (CALR), un método novedoso que mejora la técnica de descomposición de bajo rango mediante la descomposición en valores singulares (SVD) para abordar los desafíos de implementar modelos de lenguaje a gran escala (LLM), en particular su tamaño masivo y altas demandas computacionales. Mientras que los métodos de compresión existentes basados en SVD se centran en minimizar los errores de reconstrucción del modelo, lo que degrada el rendimiento funcional, CALR aborda este problema combinando capas comprimidas mediante SVD con módulos de corrección de bajo rango paralelos entrenados para recuperar errores funcionales residuales. Los resultados experimentales en modelos como SmolLM2-135M, Qwen3-0.6B y Llama-3.2-1B demuestran que CALR reduce el número de parámetros en un 26,93% y un 51,77%, respectivamente, mientras que mantiene el 59,45% y el 90,42% del rendimiento del modelo original, respectivamente, superando a métodos existentes como LaCo, ShortGPT y LoSparse. Esto demuestra que tratar la pérdida de información funcional como una señal que se puede aprender es un paradigma de compresión eficaz.
