Cet article met en évidence le problème suivant : les méthodes de réglage fin à efficacité paramétrique (PEFT) existantes apprennent de nouveaux poids de faible rang ou épars en parallèle avec les poids pré-entraînés ($W$), mais les apprennent de zéro, ce qui entraîne un écart de performance. Pour résoudre ce problème, nous proposons une nouvelle méthode de paramétrisation, VectorFit. VectorFit exploite efficacement les connaissances existantes inhérentes à $W$ pour apprendre de manière adaptative les vecteurs singuliers et les biais, générant ainsi une matrice de poids incrémentale de haut rang $\Delta W$, similaire à un réglage fin complet. Grâce à des expériences sur 19 tâches de langage et de vision diverses (compréhension et génération de langage naturel, réponses à des questions, classification et génération d'images), nous démontrons que VectorFit offre des performances supérieures à celles des méthodes PEFT existantes avec neuf fois moins de paramètres apprenables.
