本論文では、臨床報告書と15,000個の脳伝導(EEG)データを使用して、脳伝導 - 言語モデル(ELM)を最初に提示します。従来のマルチモーダル言語モデリング研究は、機能的脳データの臨床表現型分析には適用されなかったことを考慮して、時系列の切り捨てとテキスト分割を介してマルチモーダルアライメントを組み合わせ、関連性のないEEGまたはテキストセグメント間の不整合を軽減するために、マルチインスタンス学習ベースの拡張を提案します。実験の結果、提案されたマルチモーダルモデルは、4つの臨床評価でEEG専用モデルよりもパフォーマンスが大幅に向上し、最初にゼロショット分類と神経信号とレポートの両方の検索機能を可能にしました。これは、ELMの臨床応用可能性を示す重要な進展である。