Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Mosaïque : Élagage de projection composite pour des LLM économes en ressources
Created by
Haebom
Auteur
Bailey J. Eccles, Leon Wong, Blesson Varghese
Contour
Cet article présente l'élagage par projection, une nouvelle méthode d'élagage affinée, visant à répondre aux exigences élevées en termes de calcul et de mémoire qui limitent le déploiement des modèles de langage à grande échelle (LLM). Pour surmonter les limites des méthodes d'élagage à granularité grossière existantes, nous proposons un élagage par projection composite, qui combine un élagage irrégulier, qui préserve la précision, et un élagage formel, qui réduit la taille du modèle. Sur cette base, nous développons Mosaic, un nouveau système de génération et de déploiement de LLM élagués. Nous évaluons ses performances et ses indicateurs de qualité sur différentes plateformes matérielles, LLM et jeux de données. Mosaic génère des modèles jusqu'à 7,19 fois plus vite que les méthodes existantes, avec une perplexité réduite de 84,2 % et une précision supérieure de 31,4 %. De plus, les modèles Mosaic affichent une vitesse d'inférence jusqu'à 67 % plus rapide et une utilisation mémoire GPU réduite de 68 %. Mosaic est disponible publiquement à l' adresse https://github.com/blessonvar/Mosaic .
Nous présentons des méthodes d'élagage LLM (élagage par projection et élagage par projection composite) qui sont beaucoup plus rapides et plus efficaces que les méthodes d'élagage brutes existantes.
◦
Amélioration de la précision et des performances du modèle généré (perplexité réduite, précision améliorée, inférence plus rapide, utilisation de la mémoire réduite).
◦
Augmenter le potentiel de déploiement pratique du LLM grâce au système développé Mosaic.
◦
Améliorez l’accessibilité en publiant le système développé en open source.
•
Limitations:
◦
Les résultats présentés dans cet article sont des résultats d’évaluation pour une plate-forme matérielle spécifique, LLM et un ensemble de données, et des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à d’autres environnements.
◦
Des recherches supplémentaires sont nécessaires sur les paramètres optimaux pour l’élagage de projection et l’élagage de projection composite.
◦
Une analyse comparative supplémentaire de l’applicabilité et des performances des différents types de LLM est nécessaire.
