Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Premiers pas vers l'écoute des agents LLM : une étude de cas avec le gameplay de Donjons et Dragons
Created by
Haebom
Auteur
Andrew Zhu, Evan Osgood, Chris Callison-Burch
Contour
Cet article présente un nouveau paradigme, celui des « agents auditeurs », qui diffère des agents conversationnels LLM existants. Les agents auditeurs ne participent pas directement aux conversations ; ils « écoutent » les conversations humaines et effectuent des tâches en arrière-plan pour aider l'utilisateur ou lui fournir des suggestions. Cette étude mène une recherche approfondie en utilisant des modèles de langage audio multimodaux à grande échelle comme agents auditeurs pour assister le Maître du Donjon dans le contexte du jeu Donjons et Dragons. Nous évaluons l'utilisabilité de ces agents par des évaluations humaines et constatons que certains modèles de langage audio à grande échelle sont capables d'effectuer des tâches d'agent auditeur à l'aide d'indices audio implicites. Enfin, nous publions une bibliothèque Python et un code de projet pour soutenir la poursuite des recherches sur le paradigme des agents auditeurs ( https://github.com/zhudotexe/overhearing_agents ).
Nous proposons un nouveau paradigme pour les agents LLM conversationnels, « l'agent d'écoute », et explorons ses possibilités.
◦
Nous démontrons le potentiel d'un modèle de langage audio multimodal à grande échelle pour agir comme agent d'écoute clandestine dans le contexte spécifique d'un jeu Donjons & Dragons.
◦
La capacité d’effectuer des tâches à l’aide d’indices audio implicites a été découverte dans certains modèles à grande échelle.
◦
Nous soutenons les recherches de suivi en publiant des bibliothèques et du code Python associés.
•
Limitations:
◦
ÉTant donné que cette étude s’est limitée au contexte spécifique du jeu Donjons et Dragons, des recherches supplémentaires sont nécessaires pour déterminer sa généralisabilité à d’autres contextes.
◦
Il existe un manque d’informations détaillées sur les types et les performances des modèles à grande échelle utilisés.
◦
Il y a un manque de discussion sur les questions de confidentialité et d’éthique liées aux agents d’écoute clandestine.
