Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les faits s'estompent rapidement : évaluation de la mémorisation des connaissances médicales obsolètes dans de grands modèles linguistiques

Created by
  • Haebom

Auteur

Juraj Vladika, Mahdi Dhaini, Florian Matthes

Contour

Cet article examine le potentiel des modèles linguistiques à grande échelle (MLH) pour améliorer les soins de santé en soutenant la recherche médicale et les médecins. Cependant, leur dépendance à des données d'entraînement statiques présente un risque important lorsque les recommandations médicales évoluent en réponse aux nouvelles recherches et développements. Les LHH peuvent fournir des conseils préjudiciables ou échouer à des tâches de raisonnement clinique s'ils conservent des connaissances médicales obsolètes. Pour étudier cette question, nous présentons deux nouveaux ensembles de données de questions-réponses (AQ) issus de revues systématiques : MedRevQA (16 501 paires d'AQ couvrant les connaissances biomédicales générales) et MedChangeQA (un sous-ensemble de 512 paires d'AQ où le consensus médical a évolué au fil du temps). Les évaluations des ensembles de données de huit LHH de premier plan révèlent une dépendance constante à des connaissances obsolètes dans tous les modèles. De plus, nous analysons l'impact des données de pré-entraînement et des stratégies d'entraînement obsolètes afin d'expliquer ce phénomène et de proposer des pistes d'atténuation, jetant ainsi les bases du développement de systèmes d'IA médicale plus modernes et plus fiables.

Takeaways, Limitations

Takeaways:
Souligne clairement le problème de la dépendance à l’égard des connaissances médicales obsolètes lors de l’application des LLM au domaine médical.
Nous présentons de nouveaux ensembles de données d’assurance qualité (MedRevQA, MedChangeQA) pour évaluer les problèmes de connaissances obsolètes.
Démontrer expérimentalement une dépendance constante à des connaissances obsolètes dans divers LLM.
Analyse des causes du problème des connaissances obsolètes et suggestions de mesures d’atténuation.
Jeter les bases du développement de systèmes d’IA médicale plus fiables.
Limitations:
La taille de l’ensemble de données présenté doit être élargie pour des recherches ultérieures.
Les types de LLM utilisés dans l’analyse sont limités.
Une vérification plus approfondie de l’efficacité des mesures d’atténuation proposées est nécessaire.
👍