Cet article souligne le problème des méthodes de paramétrage efficaces (PEFT) existantes, qui limitent leurs performances, car elles gèlent les pondérations pré-appris et apprennent de nouvelles pondérations de rang faible ou clairsemées. L'apprentissage de nouvelles pondérations à partir de zéro entraîne une dégradation des performances. VectorFit propose une nouvelle méthode de paramétrage qui apprend de manière adaptative les vecteurs singuliers et les biais de W en utilisant les informations inhérentes aux pondérations pré-appris W. Grâce à cela, nous obtenons des performances similaires à celles d'un réglage fin complet avec beaucoup moins de paramètres (réduction de 9x) que les méthodes PEFT existantes, et démontrons expérimentalement sa supériorité dans diverses tâches telles que la compréhension et la génération de langage naturel, la réponse aux questions, ainsi que la classification et la génération d'images à travers 19 jeux de données.
