Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Améliorer la prédiction du risque d'AVC à l'aide d'un modèle de base multimodal

Created by
  • Haebom

Auteur

Camille Delgrange, Olga Demler, Samia Mora, Bjoern Menze, Ezequiel de la Rosa, Neda Davoudi

Contour

Cet article présente un cadre multimodal basé sur l'apprentissage auto-supervisé pour l'intégration de diverses modalités de données cliniques afin d'améliorer la prédiction du risque d'AVC. Il combine des images cérébrales 3D, des données cliniques et des caractéristiques dérivées d'images pour améliorer la prédiction du risque pré-AVC. Il utilise un ensemble de données non étiquetées (UK Biobank) pour capturer des informations complémentaires et synergiques entre les modalités de données image et tabulaire. Basé sur le cadre d'apprentissage contrastif, il combine des modules de pré-entraînement contrastif mot-image et de mise en correspondance de données image-tableau pour aligner les représentations de données multimodales dans un espace latent partagé. Les résultats sont comparés et évalués avec les méthodes unimodales et multimodales les plus performantes existantes dans différents paramètres de modèle (fixes et entraînables). Le ROC-AUC est amélioré de 2,6 % (2,6 %) et la précision équilibrée de 3,3 % (5,6 %) par rapport à la méthode d'apprentissage auto-supervisé des données tabulaires (images), et la précision équilibrée est améliorée de 7,6 % par rapport au modèle d'apprentissage supervisé multimodal le plus performant. Nous démontrons qu'une meilleure intégration des données tabulaires et d'images grâce à des outils interprétables fournit des intégrations plus riches et mieux alignées, tandis que les cartes thermiques de cartographie d'activation de classe pondérée par gradient révèlent l'activation des régions cérébrales associées au vieillissement cérébral, au risque d'accident vasculaire cérébral et aux résultats cliniques.

Takeaways, Limitations_

Takeaways:
Nous avons amélioré les performances de prédiction du risque d’accident vasculaire cérébral grâce à un cadre multimodal basé sur l’apprentissage auto-supervisé.
Il surpasse les méthodes monomodales et multimodales les plus performantes existantes.
Fournit un aperçu des résultats de prédiction du modèle grâce à des outils interprétables.
Fournit une base solide pour l’intégration de diverses modalités de données.
Limitations:
Cette étude s’appuie sur l’ensemble de données de la UK Biobank, et les performances de généralisation à d’autres ensembles de données nécessitent une étude plus approfondie.
En raison de la nature de l’apprentissage auto-supervisé, les performances peuvent être affectées par la qualité des données non étiquetées.
Des recherches supplémentaires sont nécessaires pour explorer l’interprétabilité du modèle.
Les estimations des performances de généralisation pour des populations spécifiques peuvent être manquantes.
👍