Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Compression d'invite LLM guidée par arbres d'analyse

Created by
  • Haebom

Auteur

Wenhao Mao, Chengbin Hou, Tianyu Zhang, Xinyu Lin, Ke Tang, Hairong Lv.

Contour

Cet article explore comment fournir un contexte riche pour améliorer les performances des modèles linguistiques à grande échelle (MLH). Pour pallier le coût de calcul accru des invites longues et la taille limitée des entrées des LH, nous proposons PartPrompt, une nouvelle méthode de compression sélective qui surmonte les limites des méthodes de compression génératives et sélectives existantes. PartPrompt utilise un arbre syntaxique basé sur des règles linguistiques pour calculer l'entropie de l'information de chaque nœud et, sur cette base, construit un arbre global prenant en compte la structure hiérarchique (dépendances entre phrases, paragraphes et sections). Il ajuste les valeurs des nœuds par propagation ascendante et descendante sur l'arbre global, puis compresse les invites en élaguant l'arbre à l'aide d'un algorithme récursif basé sur les valeurs des nœuds ajustées. Les résultats expérimentaux démontrent que PartPrompt atteint des performances de pointe sur divers ensembles de données, métriques d'évaluation, taux de compression et LH. Il démontre également une supériorité en termes de cohésion des invites compressées et dans les scénarios d'invites extrêmement longues.

Takeaways, Limitations

Takeaways:
Nous présentons une nouvelle méthode de compression rapide qui répond efficacement aux problèmes de limitation d'entrée et de coût de calcul du LLM.
Surmonter les limites des méthodes existantes en considérant les règles du langage et les structures globales.
Atteindre des performances de pointe sur divers ensembles de données et LLM.
Amélioration de la cohésion des invites compressées.
Efficacité prouvée même pour les invites extrêmement longues.
Limitations:
Les performances de PartPrompt peuvent dépendre de la précision des règles de langage et de l'analyse syntaxique.
Des recherches supplémentaires sont nécessaires sur les performances de généralisation pour des langues ou des domaines spécifiques.
Il est nécessaire d’évaluer l’efficacité du traitement des invites avec des structures très complexes.
👍