Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ToolScan : une référence pour caractériser les erreurs dans les LLM d'utilisation d'outils

Created by
  • Haebom

Auteur

Shirley Kokane, Ming Zhu, Tulika Awalgaonkar, Jianguo Zhang, Thai Hoang, Akshara Prabhakar, Zuxin Liu, Tian Lan, Liangwei Yang, Juntao Tan, Rithesh Murthy, Weiran Yao, Zhiwei Liu, Juan Carlos Niebles, Huan Wang, Shelby Heinecke, Caiming Xiong, Silivo Savarese

Contour

Cet article souligne l'importance d'évaluer les modèles de langage à grande échelle (MLH) pour améliorer les performances des systèmes d'IA complexes, en mettant l'accent sur l'identification des erreurs dans les LMH lors de tâches utilisant des outils. Pour pallier les limites des benchmarks existants, qui ne fournissent que des taux de réussite, nous proposons un nouveau benchmark, TOOLSCAN. TOOLSCAN inclut des requêtes issues d'environnements divers et permet de détecter sept nouveaux schémas d'erreur caractérisés. Grâce à TOOLSCAN, cet article démontre que même les meilleurs LMH présentent ces schémas d'erreur, fournissant ainsi des informations qui peuvent aider les chercheurs à concevoir des stratégies d'atténuation des erreurs.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons un nouveau benchmark, TOOLSCAN, qui analyse et classe systématiquement divers modèles d'erreurs survenant dans les tâches d'utilisation d'outils de LLM.
◦
Fournit une compréhension approfondie des capacités d'utilisation des outils des LLM modernes et une analyse des types d'erreurs.
◦
Fournit des informations importantes sur le développement de stratégies d’atténuation des erreurs et l’amélioration des performances du LLM.
•
Limitations:
◦
Une validation supplémentaire est nécessaire pour déterminer si les sept modèles d’erreur présentés dans TOOLSCAN couvrent tous les types d’erreurs dans LLM.
◦
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité dans différents environnements d’utilisation d’outils et types de tâches.
◦
La portée de TOOLSCAN peut être limitée à certains types de tâches utilisant des outils, et son extensibilité à une gamme plus large de tâches doit être revue.
👍
Made with Slashpage