Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
LoSiA : réglage fin efficace de haut niveau via la localisation et l'optimisation des sous-réseaux
Created by
Haebom
Auteur
Xujia Wang, Yunjia Qi, Bin Xu
Contour
Les méthodes de réglage fin à faible coefficient (PEFT), telles que LoRA, introduisent des matrices de décomposition à faible coefficient afin de réduire considérablement le nombre de paramètres apprenables. Cependant, elles effectuent de nombreuses multiplications de matrices pour les tâches spécifiques à un domaine, ce qui entraîne une faible efficacité de calcul et des performances de réglage fin médiocres. Dans cet article, nous proposons LoSiA (Low-Resources Subnet Integration Adaptation), une méthode innovante qui identifie et optimise dynamiquement les paramètres importants pendant le processus d'apprentissage. Plus précisément, nous utilisons l'analyse de parcimonie de gradient pour identifier les sous-réseaux et les optimiser comme cibles d'apprentissage. Cette conception permet une adaptation efficace à coefficient élevé en mettant à jour uniquement les paramètres des sous-réseaux, réduisant ainsi les multiplications de matrices supplémentaires. Nous présentons également LoSiA-Pro, une implémentation plus rapide de LoSiA qui réduit la latence d'apprentissage d'environ 27 % par rapport à LoRA. Des évaluations approfondies démontrent que cette méthode nécessite les temps d'apprentissage les plus courts pour les tâches spécifiques à un domaine et de raisonnement de bon sens, tout en minimisant la dégradation des performances par rapport à un réglage fin complet. Des analyses plus poussées confirment que LoSiA réduit également l'oubli lors de l'entraînement continu. Le code source est disponible à l'adresse https://github.com/KlozeWang/LoSiA .
Une nouvelle méthode, LoSiA, est proposée pour résoudre le problème d'inefficacité informatique de la méthode PEFT existante.
◦
Obtenir une adaptation efficace à coefficient élevé et un temps de formation réduit grâce à l'optimisation du sous-réseau grâce à l'analyse de parcimonie du gradient.
◦
Réduction d'environ 27 % du délai d'apprentissage par rapport à LoRA (LoSiA-Pro).
◦
Minimise la dégradation des performances et réduit le temps de formation par rapport à un réglage fin complet.
◦
Confirmation de l'effet de réduction de l'oubli lors d'un entraînement continu.
•
Limitations:
◦
Il se peut que le document ne contienne pas de critères spécifiques de sélection de sous-réseaux ni de détails sur l’algorithme.
◦
Une validation supplémentaire des performances de généralisation sur différents modèles et tâches est nécessaire.
◦
Il est possible que le taux d’amélioration des performances de LoSiA-Pro dépende d’environnements spécifiques.
