Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Automatisation de l'évaluation des événements cardiovasculaires à l'aide de grands modèles linguistiques

Created by
  • Haebom

Auteur

Sonish Sivarajkumar, Kimia Ameri, Chuqin Li, Yanshan Wang, Min Jiang

Contour

Cet article présente un nouveau cadre d'automatisation de l'arbitrage des événements cardiovasculaires dans les essais cliniques sur les maladies cardiovasculaires, à l'aide de modèles de langage à grande échelle (MLL). Pour remédier à la variabilité inter-arbitres, chronophage et gourmande en ressources, des méthodes d'arbitrage manuelles traditionnelles, nous développons une approche en deux étapes : un pipeline basé sur les LLM pour l'extraction d'informations sur les événements à partir de données cliniques non structurées, et un processus d'arbitrage basé sur les LLM, guidé par l'approche Tree of Thoughts et les recommandations du Clinical Endpoints Committee (CEC). En utilisant des données d'essais cliniques spécifiques aux événements cardiovasculaires, nous obtenons un score F1 de 0,82 pour l'extraction des événements et une précision de 0,68 pour l'arbitrage. Nous présentons également une nouvelle mesure automatisée, le score CLEART, spécialement conçue pour évaluer la qualité des inférences cliniques générées par l'IA dans l'arbitrage des événements cardiovasculaires. Cette approche démontre le potentiel de réduction significative du temps et des coûts d'arbitrage tout en maintenant des résultats de haute qualité, cohérents et vérifiables dans les essais cliniques. En réduisant la variabilité et en améliorant la standardisation, nous pouvons identifier et atténuer plus rapidement les risques associés aux thérapies cardiovasculaires.

Takeaways, Limitations

Takeaways:
L’automatisation basée sur le LLM présente un potentiel d’économies de temps et d’argent dans l’arbitrage des événements cardiovasculaires.
Variabilité inter-juges réduite et cohérence des résultats améliorée.
Présentation de la possibilité d'une évaluation de la qualité des inférences cliniques basée sur l'IA grâce à l'introduction du score CLEART.
Permet une identification rapide et une atténuation potentielle des risques liés au traitement cardiovasculaire.
Limitations:
La précision de l'extraction des événements (F1 : 0,82) et du jugement (précision : 0,68) n'est pas parfaite. Des améliorations supplémentaires sont nécessaires.
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité et la validité du score CLEART.
Il est nécessaire de garantir l’explicabilité et la transparence des systèmes basés sur le LLM.
Il convient de tenir compte des biais et de la généralisabilité des données cliniques.
👍