Este artículo presenta un marco multimodal basado en aprendizaje autosupervisado para integrar diversas modalidades de datos clínicos y mejorar la predicción del riesgo de ictus. Combina imágenes cerebrales 3D, datos clínicos y características derivadas de imágenes para mejorar la predicción del riesgo de ictus. Utiliza un conjunto de datos no etiquetados (UK Biobank) para capturar información complementaria y sinérgica entre las modalidades de datos de imagen y tabulares. Basado en el marco de aprendizaje contrastivo, combina módulos de preentrenamiento contrastivo palabra-imagen y de coincidencia de datos imagen-tabla para alinear las representaciones de datos multimodales en un espacio latente compartido. Los resultados se comparan y evalúan con los métodos unimodales y multimodales de mejor rendimiento existentes en diversas configuraciones de modelo (fijo y entrenable), y el ROC-AUC mejora en un 2,6% (2,6%) y la precisión equilibrada en un 3,3% (5,6%) con respecto al método de datos tabulares (imagen) de aprendizaje autosupervisado, y la precisión equilibrada mejora en un 7,6% con respecto al modelo de aprendizaje supervisado multimodal de mejor rendimiento. Demostramos que una mejor integración de datos tabulares y de imágenes a través de herramientas interpretables proporciona incrustaciones más ricas y alineadas, mientras que los mapas de calor de mapeo de activación de clases ponderados por gradiente revelan la activación de regiones cerebrales asociadas con el envejecimiento cerebral, el riesgo de accidente cerebrovascular y los resultados clínicos.
