본 논문은 기존 EEG/MEG-to-text 디코딩 시스템의 세 가지 주요 한계점(교사 강제 학습 의존, 세션 특이적 노이즈 민감성, 사전 훈련된 언어 모델의 과도한 지배로 인한 뇌 신호와 언어 표현 간의 불일치)을 해결하기 위해 BrainECHO라는 다단계 프레임워크를 제안합니다. BrainECHO는 분리된 표현 학습을 통해 EEG 및 MEG 데이터셋 모두에서 최첨단 성능을 달성합니다. 세 단계로 구성되는데, 첫째, 연속적인 Mel 스펙트로그램을 고품질의 이산 표현으로 변환하는 이산 오토인코딩, 둘째, 벡터 양자화된 재구성을 통해 세션 특이적 노이즈를 효과적으로 필터링하는 동결된 정렬, 셋째, 사전 훈련된 Whisper 모델을 활용하여 신호 적응과 지식 보존의 균형을 맞추는 제약된 디코딩 미세 조정이 포함됩니다. BrainECHO는 문장, 세션 및 피험자 독립적인 조건에서 강건성을 보여주며, 가우시안 노이즈 테스트를 통과하고 언어 기반 뇌-컴퓨터 인터페이스 향상 가능성을 제시합니다.
