Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

EvoP : Inférence LLM robuste via l'élagage évolutif

Created by
  • Haebom

Auteur

Shangyu Wu, Hongchao Du, Ying Xiong, Shuai Chen, Tei-wei Kuo, Nan Guan, Chun Jason Xue

Contour

Cet article propose EvoP, un framework d'élagage évolutif, pour résoudre le problème du déploiement de modèles de langage à grande échelle (LLM) dans des environnements aux ressources limitées. Pour pallier les stratégies heuristiques et la négligence des caractéristiques des données des méthodes d'élagage de modèles existantes, EvoP introduit une stratégie d'échantillonnage de données de correction par cluster (CCDS) pour générer divers jeux de données de correction, ainsi qu'une méthode de recherche de modèles d'élagage évolutif (EPPS) pour identifier les modèles d'élagage optimaux. Des expériences sur divers LLM et sous-tâches démontrent l'efficacité d'EvoP, démontrant sa solution pratique et évolutive pour le déploiement de LLM dans des applications concrètes.

Takeaways, Limitations

•
Takeaways:
◦
Nous avons résolu le problème de dégradation des performances des méthodes d’élagage LLM heuristiques existantes.
◦
Nous avons permis une taille plus efficace et plus performante en prenant en compte les caractéristiques des données.
◦
A obtenu d'excellentes performances et une excellente efficacité dans divers LLM et sous-tâches.
◦
Fournit des solutions pratiques pour le déploiement de LLM dans des applications réelles.
•
Limitations:
◦
Les gains de performance d'EvoP peuvent être biaisés en faveur d'ensembles de données ou de LLM spécifiques.
◦
L'algorithme EPPS peut avoir une complexité de calcul élevée.
◦
Des recherches supplémentaires sont nécessaires sur les performances de généralisation sur différentes plates-formes matérielles.
👍
Made with Slashpage