Bài báo này trình bày mô hình điện não đồ sang ngôn ngữ (ELM) đầu tiên sử dụng các báo cáo lâm sàng và 15.000 bộ dữ liệu điện não đồ (EEG). Do các nghiên cứu mô hình hóa ngôn ngữ đa phương thức trước đây chưa được áp dụng vào phân tích kiểu hình lâm sàng của dữ liệu chức năng não, chúng tôi kết hợp việc căn chỉnh đa phương thức thông qua cắt xén chuỗi thời gian và phân đoạn văn bản, đồng thời đề xuất phương pháp tăng cường học tập đa trường hợp để giảm thiểu sự không nhất quán giữa các đoạn EEG hoặc văn bản không liên quan. Kết quả thực nghiệm chứng minh rằng mô hình đa phương thức được đề xuất vượt trội đáng kể so với các mô hình chỉ dựa trên EEG trong bốn thử nghiệm lâm sàng, và lần đầu tiên cho phép phân loại và truy xuất không cần lệnh trên cả tín hiệu thần kinh và báo cáo. Đây là một bước tiến đáng kể, minh chứng cho khả năng ứng dụng lâm sàng của ELM.
