Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

EvoP : Inférence LLM robuste via l'élagage évolutif

Created by
  • Haebom

Auteur

Shangyu Wu, Hongchao Du, Ying Xiong, Shuai Chen, Tei-Wei Kuo, Nan Guan, Chun Jason Xue

Contour

Cet article propose EvoP, un framework d'élagage évolutif, pour résoudre le problème du déploiement de modèles de langage à grande échelle (LLM) dans des environnements aux ressources limitées. Pour remédier à la dégradation des performances et à la négligence des caractéristiques des données des méthodes d'élagage heuristiques existantes, EvoP introduit une stratégie d'échantillonnage de données d'étalonnage par cluster (CCDS) pour générer divers jeux de données d'étalonnage, ainsi qu'une méthode de recherche de modèles d'élagage évolutif (EPPS) pour identifier les modèles d'élagage optimaux. Des expérimentations sur divers LLM et sous-tâches démontrent l'efficacité d'EvoP, démontrant sa solution pratique et évolutive pour le déploiement de LLM dans des applications concrètes.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons un nouveau cadre d’élagage évolutif (EvoP) qui surmonte les limites des méthodes d’élagage LLM basées sur l’heuristique existantes.
◦
Améliorez les performances d'élagage en générant des ensembles de données de correction plus diversifiés grâce à la stratégie CCDS.
◦
Trouver efficacement le modèle d'élagage optimal et minimiser la dégradation des performances grâce à la méthode EPPS.
◦
A démontré d'excellentes performances et une excellente efficacité dans divers LLM et sous-tâches, suggérant une applicabilité pratique.
•
Limitations:
◦
Les améliorations des performances d'EvoP peuvent être limitées à des LLM et sous-tâches spécifiques.
◦
Le coût de calcul de l’EPPS peut être plus élevé que celui des méthodes conventionnelles.
◦
Des recherches supplémentaires sont nécessaires pour déterminer le nombre optimal de clusters pour la stratégie CCDS.
👍
Made with Slashpage