Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

AdaRing : Vers une adaptation vision-langage ultra-légère via la décomposition en anneaux tensoriels inter-couches

Created by
  • Haebom

Auteur

Ying Huang, Yuanbin Man, Wenqi Jia, Zhengzhong Tu, Junzhou Huang, Miao Yin

Contour

Cet article propose AdaRing, un framework de réglage fin basé sur des adaptateurs permettant d'appliquer efficacement des modèles de langage de vision (MLV) pré-entraînés à grande échelle à diverses sous-tâches. Les méthodes de réglage fin existantes intègrent des adaptateurs à toutes les couches afin d'augmenter leur capacité. Cependant, elles ignorent la redondance intercouche, ce qui limite les taux de compression et restreint la puissance expressive des adaptateurs homogènes. AdaRing permet une adaptation ultra-légère et efficace des MLL en intégrant et en collaborant plusieurs adaptateurs grâce à la décomposition en anneaux tensoriels intercouche (TRD). Pour éliminer la forte redondance entre les adaptateurs intercouches, nous exploitons le rang bas au niveau tenseur pour formaliser les adaptateurs en cœurs tensoriels partagés par couche et en tranches spécifiques à chaque couche. De plus, grâce à un réglage fin tenant compte de la généralisation, divers adaptateurs basés sur les classes collaborent pour gérer des tâches nécessitant des représentations différentes. Les résultats expérimentaux démontrent qu'AdaRing atteint des performances de pointe tout en réduisant de 90 % les besoins moyens en paramètres de formation.

Takeaways, Limitations

Takeaways:
Nous présentons un cadre de réglage fin VLM ultra-léger et efficace en termes de paramètres qui améliore le taux de compression en prenant en compte la redondance inter-couches.
Capacités expressives améliorées pour diverses tâches grâce à la collaboration avec divers adaptateurs.
Obtenez des performances de pointe tout en réduisant les paramètres d’entraînement de 90 %.
Limitations:
Les performances de l'AdaRing proposé peuvent être limitées à des VLM et sous-tâches spécifiques.
Augmentation potentielle du coût de calcul en raison de la complexité de la décomposition des anneaux tensoriels.
Une analyse plus approfondie est nécessaire sur l’efficacité de la prise en compte fine de la généralisation.
👍