Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

NoWag : un cadre unifié pour la compression préservant la forme des grands modèles linguistiques

Created by
  • Haebom

Auteur

Lawrence Liu, Inesh Chakrabarti, Yixiao Li, Mengdi Wang, Tuo Zhao, Lin F. Yang

Contour

Pour relever les défis du déploiement de modèles de langage à grande échelle (LLM) dans des environnements aux ressources limitées, cet article propose NoWag (Normalized Weight and Activation Guided Compression), un algorithme de compression unifié et ponctuel préservant la forme. NoWag compresse les modèles Llama-2 (7B, 13B, 70B) et Llama-3 (8B, 70B) à l'aide de deux techniques de préservation de forme : la quantification vectorielle (NoWag-VQ) et l'élagage non structuré/semi-structuré (NoWag-P). Les résultats expérimentaux démontrent que NoWag-VQ surpasse significativement les méthodes de quantification vectorielle ponctuelles de pointe, et que NoWag-P est compétitif par rapport aux principales techniques d'élagage. Cela met en évidence les points communs entre les deux paradigmes de compression et suggère des pistes de recherche prometteuses. Le code source est disponible sur GitHub.

Takeaways, Limitations

•
Takeaways:
◦
NoWag améliore l'efficacité de la compression LLM en intégrant des techniques de quantification vectorielle et d'élagage.
◦
NoWag-VQ surpasse les techniques de quantification vectorielle à un coup de pointe existantes.
◦
NoWag-P a montré des performances compétitives avec les principales techniques d’élagage existantes.
◦
En révélant les points communs entre les deux paradigmes de compression, nous suggérons des orientations de recherche futures.
•
Limitations:
◦
Les résultats expérimentaux présentés dans cet article sont limités à des LLM spécifiques (Llama-2, Llama-3) et d'autres études sont nécessaires pour déterminer leur généralisabilité.
◦
Les améliorations des performances de NoWag peuvent dépendre de paramètres d'hyperparamètres spécifiques et nécessiter des expérimentations supplémentaires avec différents paramètres.
◦
Des recherches supplémentaires sont nécessaires pour évaluer les performances de NoWag dans des environnements de déploiement réels.
👍
Made with Slashpage