Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Démystifier les chaînes, les arbres et les graphiques de pensées

Created by
  • Haebom

Auteur

Maciej Besta, Florim Memedi, Zhenyu Zhang, Robert Gerstenberger, Guangyuan Piao, Nils Blach, Piotr Nyczyk, Marcin Copik, Grzegorz Kwa sniewski, Jürgen M uller, Lukas Gianinazzi, Ales Kubicek, Hubert Niewiadomski, Aidan O'Mahony, Onur Mutlu, Torsten Hoefler

Contour

Cet article explore comment améliorer les performances d'inférence des modèles de langage à grande échelle (MLL) grâce à l'ingénierie des invites structurées. Nous analysons les conceptions d'invites structurées, notamment la chaîne de pensée, l'arbre de pensée et le graphe de pensée, et présentons un modèle général pour des systèmes d'inférence LLM efficaces et efficients. Grâce à une analyse approfondie du pipeline d'exécution des invites, nous clarifions les concepts et établissons la première taxonomie des systèmes d'inférence LLM basés sur la structure. Nous définissons la structure utilisée ici comme une « topologie d'inférence » et analysons sa représentation, son algorithme, ses performances et ses modèles de coût afin de comparer les approches d'invite existantes. De plus, nous présentons les fondements théoriques, leur lien avec les bases de connaissances et les défis de recherche associés, afin de contribuer à l'avancement des technologies d'ingénierie des invites à l'avenir.

Takeaways, Limitations_

•
Takeaways:
◦
Nous présentons un plan général et une taxonomie pour l’ingénierie rapide structurée, suggérant des directions pour les recherches futures.
◦
Nous comparons et analysons les performances et le coût de diverses techniques d’incitation structurées afin de fournir des conseils pour sélectionner la conception optimale.
◦
Contribue à l'avancement de la technologie d'ingénierie rapide en fournissant une compréhension approfondie du processus de raisonnement LLM.
◦
Compte tenu du lien avec la base de connaissances, nous suggérons des pistes pour améliorer encore la capacité de raisonnement du LLM.
•
Limitations:
◦
Une validation supplémentaire de l’exhaustivité et de la généralisabilité du système de classification proposé est nécessaire.
◦
Les analyses expérimentales sur diverses architectures et ensembles de données LLM peuvent faire défaut.
◦
Des recherches supplémentaires sont nécessaires pour déterminer l’applicabilité pratique et l’évolutivité du plan présenté.
◦
Des recherches supplémentaires sont nécessaires pour tirer des conclusions sur la supériorité de toute technique d’incitation structurée particulière.
👍
Made with Slashpage