Cet article présente LoRA-XS, une nouvelle méthode de réglage fin optimisée par paramètres, qui vise à pallier les limitations de LoRA, notamment en termes de stockage et de calcul lors du déploiement de modules pour diverses tâches ou utilisateurs. LoRA-XS réduit considérablement le nombre de paramètres entraînables en intégrant de petites matrices de pondération entraînables parmi des matrices fixes de rang faible obtenues par décomposition en valeurs singulières (SVD) de pondérations pré-entraînées. Comparé à LoRA dans un modèle 7B, il réduit les besoins en stockage de plus de 100 fois et s'adapte d'un paramètre par module à n'importe quelle taille. Les évaluations sur GLUE, GSM8K, MATH et les benchmarks d'inférence de bon sens démontrent que LoRA-XS offre une précision égale ou supérieure à celle de LoRA et VeRA, tout en offrant une efficacité paramétrique supérieure. Des expériences supplémentaires soulignant l'importance des vecteurs singuliers démontrent l'utilité de LoRA-XS comme solution robuste et optimisée en stockage pour la mise à l'échelle et la personnalisation de modèles linguistiques à grande échelle.
