Cet article présente le modèle ViTa, qui intègre l'imagerie par résonance magnétique cardiaque (IRM) aux facteurs de santé du patient afin de permettre une compréhension globale de la santé cardiaque et une interprétation personnalisée du risque de maladie. En exploitant les données de 42 000 participants de la UK Biobank, nous intégrons des données d'images 3D+T ciné-stack en vues petit axe et grand axe avec des facteurs patients tabulaires détaillés. Ce paradigme multimodal prend en charge plusieurs sous-tâches, notamment la prédiction du phénotype et des caractéristiques physiologiques cardiaques, la segmentation et la classification des maladies cardiaques et métaboliques, au sein d'un cadre unique et intégré. En apprenant une représentation latente partagée reliant des caractéristiques d'image riches au contexte du patient, nous souhaitons fournir une compréhension de la santé cardiaque spécifique au patient, au-delà des modèles existants spécifiques aux tâches.
