Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

« Quoi de neuf, docteur ? » : Analyse de la façon dont les utilisateurs recherchent des informations de santé dans des ensembles de données d'IA conversationnelle à grande échelle

Created by
  • Haebom

Auteur

Akshay Paruchuri, Maryam Aziz, Rohit Vartak, Ayman Ali, Best Uchehara, Xin Liu, Ishan Chatterjee, Monica Agrawal

Contour

Cet article explore la nature et les risques inhérents à ces conversations, alors que les utilisateurs recherchent de plus en plus d'informations médicales via des chatbots basés sur des modèles de langage à grande échelle (MLH). Nous avons filtré un ensemble de données d'IA conversationnelle à grande échelle pour constituer l'ensemble de données HealthChat-11K, qui contient 11 000 conversations réelles liées à la santé, composées de 25 000 messages utilisateurs. À l'aide de cet ensemble de données et d'une taxonomie centrée sur le clinicien, nous avons analysé systématiquement les interactions des utilisateurs dans 21 spécialités médicales différentes. Notre analyse fournit des informations sur la manière et les raisons pour lesquelles les utilisateurs recherchent des informations médicales, les types d'interactions courants, le contexte incomplet, le comportement émotionnel et les interactions susceptibles de susciter des flatteries (par exemple, les questions suggestives). Elle souligne la nécessité d'améliorer les capacités d'assistance médicale pour les LHH déployés sous forme d'IA conversationnelle. L'ensemble de données et les résultats de l'analyse sont accessibles au public sur GitHub.

Takeaways, Limitations

Takeaways:
Nous construisons HealthChat-11K, un ensemble de données de conversation sur les soins de santé du monde réel, pour fournir des données qui peuvent être utilisées pour l'analyse des interactions des chatbots de soins de santé basés sur LLM.
Nous découvrons divers aspects de l'utilisation des chatbots de santé basés sur le LLM, notamment la manière dont les utilisateurs obtiennent des informations médicales, le manque de contexte, le comportement émotionnel et le comportement induisant la flatterie.
Suggérant la nécessité d'améliorer la fonction de support médical des chatbots médicaux basés sur LLM.
Limitations:
La taille de l’ensemble de données (11 000 conversations) peut être limitée pour refléter de manière exhaustive toutes les situations médicales.
Le potentiel de subjectivité dans le système de classification centré sur le clinicien utilisé dans l’analyse existe.
Aucune évaluation directe de l’exactitude et de la fiabilité des réponses du LLM n’a été incluse.
👍