Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Advancing Stroke Risk Prediction Using a Multi-modal Foundation Model

Created by
  • Haebom

作者

Camille Delgrange, Olga Demler, Samia Mora, Bjoern Menze, Ezequiel de la Rosa, Neda Davoudi

概要

本論文は、様々な臨床データモダリティを統合し、脳卒中リスク予測を改善する自己地図学習ベースのマルチモーダルフレームワークを提示します。 3D脳画像、臨床データ、画像由来の特徴を組み合わせて、脳卒中発症前のリスク予測を改善します。非表紙データセット（UK Biobank）を活用して、画像と表形式のデータモダリティ間の相補的で相乗効果のある情報をキャプチャします。対照学習フレームワークに基づいて、対照言語 - 映像事前学習と画像 - 表データマッチングモジュールを組み合わせて、複数のモーダルデータ表現を共有潜在空間に整列します。さまざまなモデル設定（固定および学習可能）のもとで従来最高性能のシングルモーダルおよびマルチモーダル方法と比較評価した結果、自己地図学習表データ（映像）方法よりROC-AUCで2.6％（2.6％）、バランス精度で3.3％（5.6％）向上し、最高性能のマルチモーダルマップ学習モデルよりバランス精度があります。解析可能なツールにより、表データと画像データの統合が改善され、より豊富で整列された埋め込みを提供することが示され、Gradient-weighted Class Activation Mappingヒートマップにより、脳の老化、脳卒中リスク、臨床結果に関連する脳領域が活性化されることが確認されました。

Takeaways、Limitations

•
Takeaways:
◦
セルフマップ学習ベースのマルチモーダルフレームワークにより、脳卒中リスク予測のパフォーマンスが向上しました。
◦
従来の最高性能のシングルモーダルとマルチモーダル方法を凌駕する性能を示しました。
◦
解析可能なツールを使用して、モデルの予測結果に関する洞察を提供します。
◦
さまざまなデータモダリティ統合のための強力な基盤を提供します。
•
Limitations:
◦
この研究は英国バイオバンクのデータセットに依存しており、他のデータセットへの一般化性能にはさらなる研究が必要です。
◦
自己地図学習の性質上、ラベル付けされていないデータの品質によってはパフォーマンスが影響を受ける可能性があります。
◦
モデルの解釈の可能性に関するさらなる研究が必要である。
◦
特定の人口集団の一般化性能評価が不足している可能性があります。
👍
Made with Slashpage