Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les modèles de langage agentiques de grande taille améliorent la réponse aux questions de radiologie basées sur la récupération

Created by
  • Haebom

Auteur

Sebastian Wind, Jeta Sopa, Daniel Truhn, Mahshad Lotfinia, Tri-Thien Nguyen, Keno Bressem, Lisa Adams, Mirabela Rusu, Harald K ostler, Gerhard Wellein, Andreas Maier, Soroosh Tayebi Arasteh

Contour

Cet article propose un cadre de génération augmentée de récupération (RAG) basé sur des agents pour la réponse aux questions de radiologie (AQ). Pour surmonter les limites des méthodes conventionnelles de récupération en une seule étape, nous avons construit un système dans lequel les LLM décomposent de manière autonome les questions de radiologie et récupèrent de manière itérative des preuves cliniques ciblées à partir de la radiopédie afin de générer dynamiquement des réponses fondées sur des preuves. Nous avons évalué 24 LLM avec des architectures, des tailles de paramètres (de 0,5 B à plus de 670 B) et des paradigmes d'apprentissage variés (usage général, optimisation de l'inférence et ajustement clinique) sur 104 questions évaluées par des experts issues des ensembles de données RSNA-RadioQA et ExtendedQA. La récupération d'agent a significativement amélioré la précision diagnostique moyenne par rapport à l'invite zéro-shot et au RAG en ligne conventionnel (73 % contre 64 %, p < 0,001 ; 73 % contre 68 %, p < 0,001), en particulier pour les modèles de taille moyenne. De plus, nous avons réduit les hallucinations et amélioré les preuves factuelles en récupérant un contexte cliniquement pertinent. Des améliorations significatives ont également été observées dans les modèles cliniquement affinés, suggérant des rôles complémentaires de la recherche et de l'affinement.

Takeaways, Limitations

Takeaways:
Le cadre RAG basé sur des agents démontre un potentiel pour améliorer le réalisme et la précision diagnostique dans l'assurance qualité en radiologie.
Il est particulièrement efficace dans les LLM de taille moyenne et contribue également à améliorer les performances des modèles à petite échelle.
Nous avons identifié les rôles complémentaires de la recherche et du réglage fin.
Contribue à renforcer la base factuelle grâce à la réduction des hallucinations et à la récupération d’informations cliniquement pertinentes.
Limitations:
D’autres études sont nécessaires pour vérifier son utilité clinique.
Pour les très grands modèles (paramètres > 200B), l’amélioration des performances était minime.
Elle s’appuie sur des données radiopédologiques et l’influence du biais des données doit être prise en compte.
👍