EEG-VLM: A Hierarchical Vision-Language Model with Multi-Level Feature Alignment and Visually Enhanced Language-Guided Reasoning for EEG Image-Based Sleep Stage Prediction
EEG 기반 수면 단계 분류는 수면의 질을 평가하고 수면 관련 장애를 진단하는 데 중요합니다. 본 논문에서는 EEG 신호의 미세한 시간-주파수 패턴을 캡처하고 임상적 해석 가능성을 확보하는 데 어려움을 겪는 기존 딥러닝 모델의 한계를 극복하기 위해, 시각적으로 향상된 언어 기반 추론을 통해 다단계 특징 정렬을 통합하는 계층적 시각-언어 프레임워크인 EEG-VLM을 제안합니다. 이 프레임워크는 중간 레이어 특징으로부터 고수준 시각 토큰을 구성하는 특수 시각 향상 모듈과, 전문가와 유사한 의사 결정을 시뮬레이션하는 CoT 추론 전략을 사용합니다. 실험 결과는 EEG-VLM이 EEG 기반 수면 단계 분류에서 VLM의 정확도와 해석 가능성을 모두 향상시키는 것을 보여줍니다.
시사점, 한계점
•
EEG-VLM은 EEG 기반 수면 단계 분류에서 VLM의 정확도와 해석 가능성을 모두 향상시켰습니다.
