Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ProRefine : Affinement des invites d'inférence avec retour textuel

Created by
  • Haebom

Auteur

Deepak Pandita, Tharindu Cyril Weerasooriya, Ankit Parag Shah, Isabelle Diana May-Xin Ng, Christopher M. Homan, Wei Wei

Contour

Cet article se concentre sur les workflows d'agents, où plusieurs agents d'IA effectuent des tâches complexes (par exemple, raisonnement, planification, etc.). Les performances de ces workflows dépendent fortement des invites qui guident le rôle de chaque agent, et des invites incorrectes peuvent dégrader les performances globales du système. Pour résoudre ce problème, nous présentons une nouvelle méthode d'optimisation du temps d'inférence, ProRefine. ProRefine améliore dynamiquement les invites pour les tâches d'inférence multi-étapes en générant et en appliquant un retour textuel via une boucle d'agents LLM, sans nécessiter de formation supplémentaire ni d'étiquetage correct. Sur cinq jeux de données de référence d'inférence mathématique, ProRefine surpasse de 3 à 37 % un modèle de référence de chaîne de pensée à zéro coup, et démontre également son efficacité à élever les performances de petits modèles à celles de modèles plus grands. Cela suggère son potentiel pour contribuer à la construction de systèmes d'IA hybrides rentables et puissants et à l'amélioration de l'accessibilité de l'IA haute performance.

Takeaways, Limitations_

Takeaways:
ProRefine, une méthode efficace pour optimiser les invites de temps d'inférence, est présentée.
Amélioration des performances (3-37 %p) par rapport au modèle de base de la chaîne de pensée à zéro coup
Suggérant la possibilité d’améliorer les performances des petits modèles et de construire des systèmes d’IA rentables.
Contribuer à améliorer l'accessibilité à l'IA haute performance
Limitations:
L'ensemble de données de référence présenté se limite à l'inférence mathématique. Sa généralisabilité à d'autres types de tâches doit être vérifiée.
Il est possible que les gains de performances de ProRefine soient biaisés en faveur d'ensembles de données ou de tâches spécifiques.
Manque d'analyse de la complexité et du coût de calcul des boucles d'agents LLM.
Des recherches supplémentaires sont nécessaires sur l’évolutivité et la stabilité des applications du monde réel.
👍