Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

IPA : un cadre de projection d'entrée préservant l'information pour une adaptation efficace du modèle de fondation

Created by
  • Haebom

Auteur

Yuan Yin, Shashanka Venkataramanan, Tuan-Hung Vu, Andrei Bursuc, Matthieu Cord

Contour

Cet article propose l'adaptation préservant l'information (IPA), un cadre de projection sensible aux caractéristiques, pour répondre aux besoins des méthodes de réglage fin à efficacité paramétrique (PEFT) telles que LoRA. Alors que LoRA utilise une réduction de dimensionnalité initialisée aléatoirement, ce qui entraîne une perte d'information, l'IPA préserve explicitement l'information dans l'espace caché réduit grâce à un algorithme qui approxime les composantes principales. Dans les cas linéaires, l'IPA permet un pré-apprentissage efficace du projecteur avec une charge d'inférence négligeable.

Takeaways, Limitations_

•
Takeaways:
◦
Obtenez des améliorations de performances en surmontant les limites de la réduction de dimensionnalité aléatoire de LoRA.
◦
Il montre une amélioration moyenne de la précision de 1,5 et 2,3 points par rapport à LoRA et DoRA sur des benchmarks tels que Commonsense Reasoning et VTAB-1k.
◦
Lorsque la projection est fixe, elle atteint des performances équivalentes à celles de LoRA avec environ la moitié des paramètres d'apprentissage de LoRA.
◦
Minimisez les frais d’inférence grâce à une préformation efficace du projecteur.
•
Limitations:
◦
Actuellement, seul l'algorithme IPA pour les cas linéaires a été présenté. Des extensions aux cas non linéaires sont nécessaires.
◦
Des recherches supplémentaires sont nécessaires sur les performances de généralisation sur des tâches autres que les repères présentés.
◦
Les améliorations d’efficacité et de performance de l’IPA peuvent varier en fonction de l’ensemble de données et du modèle utilisés.
👍
Made with Slashpage