यह शोधपत्र स्ट्रोक के जोखिम पूर्वानुमान को बेहतर बनाने हेतु विभिन्न नैदानिक डेटा विधियों को एकीकृत करने हेतु एक स्व-पर्यवेक्षित शिक्षण-आधारित बहुविध ढाँचा प्रस्तुत करता है। यह स्ट्रोक-पूर्व जोखिम पूर्वानुमान को बेहतर बनाने के लिए त्रि-आयामी मस्तिष्क छवियों, नैदानिक डेटा और छवि-व्युत्पन्न विशेषताओं को संयोजित करता है। यह छवि और सारणीबद्ध डेटा विधियों के बीच पूरक और सहक्रियात्मक जानकारी प्राप्त करने के लिए एक लेबल रहित डेटासेट (यूके बायोबैंक) का उपयोग करता है। विपरीत शिक्षण ढाँचे पर आधारित, यह बहुविध डेटा अभ्यावेदन को एक साझा अव्यक्त स्थान में संरेखित करने के लिए विपरीत शब्द-छवि पूर्व-प्रशिक्षण और छवि-तालिका डेटा मिलान मॉड्यूल को संयोजित करता है। परिणामों की तुलना और मूल्यांकन विभिन्न मॉडल सेटिंग्स (स्थिर और प्रशिक्षण योग्य) के अंतर्गत मौजूदा सर्वश्रेष्ठ प्रदर्शन करने वाली यूनिमॉडल और मल्टीमॉडल विधियों से किया गया है, और स्व-पर्यवेक्षित शिक्षण सारणीबद्ध डेटा (छवि) विधि की तुलना में ROC-AUC में 2.6% (2.6%) और संतुलित सटीकता में 3.3% (5.6%) का सुधार हुआ है, और सर्वश्रेष्ठ प्रदर्शन करने वाले मल्टीमॉडल पर्यवेक्षित शिक्षण मॉडल की तुलना में संतुलित सटीकता में 7.6% का सुधार हुआ है। हम प्रदर्शित करते हैं कि व्याख्या योग्य उपकरणों के माध्यम से सारणीबद्ध और छवि डेटा का बेहतर एकीकरण अधिक समृद्ध और अधिक संरेखित एम्बेडिंग प्रदान करता है, जबकि ग्रेडिएंट-भारित क्लास एक्टिवेशन मैपिंग हीटमैप मस्तिष्क की उम्र बढ़ने, स्ट्रोक के जोखिम और नैदानिक परिणामों से जुड़े मस्तिष्क क्षेत्रों की सक्रियता को प्रकट करते हैं।
