Este artículo presenta LoRA-XS, un novedoso método de ajuste fino con eficiencia de parámetros para abordar las limitaciones de LoRA, que presentan dificultades de almacenamiento y computación al implementar módulos para diversas tareas o usuarios. LoRA-XS reduce drásticamente el número de parámetros entrenables al incorporar pequeñas matrices de pesos entrenables entre matrices fijas de bajo rango obtenidas mediante la descomposición en valores singulares (SVD) de pesos preentrenados. En comparación con LoRA en un modelo 7B, reduce los requisitos de almacenamiento en más de 100 veces y escala desde un parámetro por módulo a cualquier tamaño arbitrario. Las evaluaciones en GLUE, GSM8K, MATH y benchmarks de inferencia de sentido común demuestran que LoRA-XS tiene un rendimiento igual o superior en precisión que LoRA y VeRA, a la vez que ofrece una eficiencia de parámetros superior. Experimentos adicionales que destacan la importancia de los vectores singulares demuestran la utilidad de LoRA-XS como una solución robusta y con eficiencia de almacenamiento para escalar y personalizar modelos lingüísticos a gran escala.
