Cet article présente un cadre multimodal basé sur l'apprentissage auto-supervisé pour l'intégration de diverses modalités de données cliniques afin d'améliorer la prédiction du risque d'AVC. Il combine des images cérébrales 3D, des données cliniques et des caractéristiques dérivées d'images pour améliorer la prédiction du risque pré-AVC. Il utilise un ensemble de données non étiquetées (UK Biobank) pour capturer des informations complémentaires et synergiques entre les modalités de données image et tabulaire. Basé sur le cadre d'apprentissage contrastif, il combine des modules de pré-entraînement contrastif mot-image et de mise en correspondance de données image-tableau pour aligner les représentations de données multimodales dans un espace latent partagé. Les résultats sont comparés et évalués avec les méthodes unimodales et multimodales les plus performantes existantes dans différents paramètres de modèle (fixes et entraînables). Le ROC-AUC est amélioré de 2,6 % (2,6 %) et la précision équilibrée de 3,3 % (5,6 %) par rapport à la méthode d'apprentissage auto-supervisé des données tabulaires (images), et la précision équilibrée est améliorée de 7,6 % par rapport au modèle d'apprentissage supervisé multimodal le plus performant. Nous démontrons qu'une meilleure intégration des données tabulaires et d'images grâce à des outils interprétables fournit des intégrations plus riches et mieux alignées, tandis que les cartes thermiques de cartographie d'activation de classe pondérée par gradient révèlent l'activation des régions cérébrales associées au vieillissement cérébral, au risque d'accident vasculaire cérébral et aux résultats cliniques.
