Les méthodes de réglage fin à faible coefficient (PEFT) telles que LoRA introduisent des matrices de décomposition à faible coefficient afin de réduire considérablement le nombre de paramètres apprenables. Cependant, les méthodes existantes effectuent de nombreuses multiplications de matrices dans les tâches spécifiques à un domaine, ce qui entraîne une faible efficacité de calcul et de faibles performances de réglage fin. Dans cet article, nous proposons l'adaptation d'intégration de sous-réseaux à faibles ressources (LoSiA). LoSiA est une méthode innovante permettant de trouver et d'optimiser dynamiquement les paramètres importants pendant le processus d'apprentissage. Plus précisément, elle utilise l'analyse de parcimonie de gradient pour identifier les sous-réseaux et les optimiser comme cibles apprenables. Cette conception permet une adaptation efficace à coefficient élevé en mettant à jour uniquement les paramètres des sous-réseaux, réduisant ainsi les multiplications de matrices supplémentaires. Nous présentons également LoSiA-Pro, qui réduit le délai d'apprentissage d'environ 27 % par rapport à LoRA. Des évaluations approfondies montrent que la méthode proposée permet une dégradation minimale des performances par rapport au réglage fin complet, tout en nécessitant le temps d'apprentissage le plus court pour les tâches spécifiques à un domaine et de raisonnement de bon sens. Une analyse plus approfondie montre que LoSiA réduit l’oubli lors de l’apprentissage continu.
