Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

AutoPDL : optimisation automatique des invites pour les agents LLM

Created by
  • Haebom

Auteur

Claudio Spiess, Mandana Vaziri, Louis Mandel, Martin Hirzel

Contour

Cet article propose AutoPDL, une technique d'optimisation automatisée des invites pour améliorer les performances des modèles de langage à grande échelle (ML). AutoPDL définit le problème de combinaison de divers modèles d'invite (par exemple, Zero-Shot, CoT, ReAct, ReWOO) avec le contenu des invites, incluant plusieurs exemples, comme un problème AutoML structuré. Il trouve efficacement les configurations d'invite optimales grâce à la technique de division par deux successives. S'appuyant sur une bibliothèque de modèles d'invite implémentés à l'aide du langage de programmation d'invites PDL, AutoPDL génère des programmes PDL lisibles, modifiables et exécutables. Les résultats d'évaluation sur trois tâches et sept ML (allant de 3 à 70 milliards de paramètres) démontrent une amélioration moyenne de la précision de 9,21 ± 15,46 points de pourcentage (jusqu'à 67,5 points de pourcentage). La stratégie d'invite choisie varie selon les modèles et les tâches.

Takeaways, Limitations

•
Takeaways:
◦
L'automatisation rapide de l'ingénierie du LLM démontre comment économiser du temps et des efforts et obtenir de meilleures performances que les méthodes manuelles.
◦
La programmation d'invites utilisant PDL permet la création d'invites réutilisables qui sont faciles à comprendre et à modifier pour les humains.
◦
Nous présentons une méthodologie générale d’optimisation rapide applicable à une variété de LLM et de tâches.
◦
Nous démontrons expérimentalement que la stratégie d’incitation optimale varie en fonction du modèle et de la tâche.
•
Limitations:
◦
L'efficacité de la technique de division par deux successives peut varier selon la taille de l'espace de recherche. Pour les espaces de recherche très vastes, il est possible que l'invite optimale ne soit pas trouvée.
◦
ÉTant donné que les types de LLM et de tâches utilisés dans l’évaluation étaient limités, des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à d’autres LLM ou tâches.
◦
L'apprentissage du langage de programmation d'invite PDL peut être nécessaire.
👍
Made with Slashpage