Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les modèles de langage open source de grande taille peuvent-ils être utilisés pour la documentation des tumeurs en Allemagne ? – Une évaluation des notes des médecins urologues

Created by
  • Haebom

Auteur

Stefan Lenz, Arsenij Ustjanzew, Marco Jeray, Meike Ressing, Torsten Panholzer

Contour

Cet article présente les résultats d'une évaluation de 11 modèles linguistiques à grande échelle (MLH) open source visant à améliorer le système allemand d'enregistrement manuel des tumeurs. Des LMH comportant de 1 à 70 milliards de paramètres ont été utilisés pour évaluer leurs performances sur trois tâches fondamentales : l'identification du diagnostic tumoral, l'attribution du code CIM-10 et l'extraction de la date du premier diagnostic. À l'aide d'un ensemble de données annotées générées à partir de notes d'urologues anonymisées, les performances des modèles ont été analysées à l'aide de plusieurs stratégies d'incitation. Les modèles Llama 3.1 8B, Mistral 7B et Mistral NeMo 12B ont obtenu les meilleurs résultats, tandis que les modèles comportant moins de 7 milliards de paramètres ont affiché des performances significativement inférieures. L'incitation à l'aide de données issues de domaines médicaux non urologiques a significativement amélioré les performances, suggérant que les LMH open source présentent un potentiel important pour l'automatisation de l'enregistrement des tumeurs. Nous concluons que les modèles comportant de 7 à 12 milliards de paramètres offrent un équilibre optimal entre performances et efficacité des ressources. Le code d'évaluation et l'ensemble de données sont accessibles au public.

Takeaways, Limitations

Takeaways:
Démontre qu'un LLM open source peut être utilisé efficacement pour automatiser la documentation des tumeurs dans le domaine médical allemand du PNL.
Les LLM avec 7 à 12 milliards de paramètres offrent un bon équilibre entre performances et efficacité des ressources.
Nous présentons la possibilité d’améliorer les performances en utilisant diverses stratégies d’incitation et des ensembles de données supplémentaires.
Un nouvel ensemble de données est publié pour remédier au manque de données dans le domaine du traitement du langage naturel (PNL) médical allemand.
Limitations:
L’évaluation a été limitée au domaine de l’urologie et des recherches supplémentaires sont nécessaires pour généraliser les résultats.
Des ajustements supplémentaires et des recherches techniques rapides sont nécessaires pour améliorer les performances du modèle.
Les modèles comportant moins de 7 milliards de paramètres sont peu performants, ce qui souligne l’importance de l’échelle du modèle.
👍