Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

LoSiA : réglage fin efficace de haut niveau via la localisation et l'optimisation des sous-réseaux

Created by
  • Haebom

Auteur

Xujia Wang, Yunjia Qi, Bin Xu

Contour

Les méthodes de réglage fin à faible coefficient (PEFT) telles que LoRA introduisent des matrices de décomposition à faible coefficient afin de réduire considérablement le nombre de paramètres apprenables. Cependant, les méthodes existantes effectuent de nombreuses multiplications de matrices dans les tâches spécifiques à un domaine, ce qui entraîne une faible efficacité de calcul et de faibles performances de réglage fin. Dans cet article, nous proposons l'adaptation d'intégration de sous-réseaux à faibles ressources (LoSiA). LoSiA est une méthode innovante permettant de trouver et d'optimiser dynamiquement les paramètres importants pendant le processus d'apprentissage. Plus précisément, elle utilise l'analyse de parcimonie de gradient pour identifier les sous-réseaux et les optimiser comme cibles apprenables. Cette conception permet une adaptation efficace à coefficient élevé en mettant à jour uniquement les paramètres des sous-réseaux, réduisant ainsi les multiplications de matrices supplémentaires. Nous présentons également LoSiA-Pro, qui réduit le délai d'apprentissage d'environ 27 % par rapport à LoRA. Des évaluations approfondies montrent que la méthode proposée permet une dégradation minimale des performances par rapport au réglage fin complet, tout en nécessitant le temps d'apprentissage le plus court pour les tâches spécifiques à un domaine et de raisonnement de bon sens. Une analyse plus approfondie montre que LoSiA réduit l’oubli lors de l’apprentissage continu.

Takeaways, Limitations_

Takeaways:
Proposition de LoSiA, une nouvelle méthode pour résoudre le problème d'inefficacité informatique de la méthode PEFT existante.
Réalisez efficacement une adaptation à coefficient élevé grâce à l’optimisation du sous-réseau.
Implémentation de LoSiA-Pro avec un temps de formation plus court que LoRA.
Obtenez d'excellentes performances avec une dégradation minimale des performances par rapport à un réglage fin complet.
Confirmation de l’effet de réduction de l’oubli lors de l’apprentissage continu.
Limitations:
Une vérification supplémentaire de la généralisabilité des résultats expérimentaux présentés dans l’article est nécessaire.
Des recherches supplémentaires sont nécessaires pour explorer l’applicabilité de LoSiA à diverses architectures et tâches de modèles.
Il est possible que l’accélération de LoSiA-Pro dépende d’environnements matériels spécifiques.
👍