본 논문은 임상 보고서와 15,000개의 뇌전도(EEG) 데이터를 이용하여 뇌전도-언어 모델(ELM)을 최초로 제시합니다. 기존의 다중 모달 언어 모델링 연구가 기능적 뇌 데이터의 임상 표현형 분석에는 적용되지 않았던 점을 감안하여, 시계열 자르기와 텍스트 분할을 통해 다중 모달 정렬을 결합하고, 관련 없는 EEG 또는 텍스트 세그먼트 간의 불일치를 완화하기 위해 다중 인스턴스 학습 기반 확장을 제안합니다. 실험 결과, 제안된 다중 모달 모델은 네 가지 임상 평가에서 EEG 전용 모델보다 성능이 크게 향상되었으며, 최초로 제로샷 분류 및 신경 신호와 보고서 모두에 대한 검색 기능을 가능하게 합니다. 이는 ELM의 임상 응용 가능성을 보여주는 중요한 진전입니다.
