BrainECHO는 EEG/MEG 신호를 텍스트로 변환하는 시스템의 세 가지 주요 한계점 (강화 학습 의존, 세션 특이적 노이즈 민감성, 사전 훈련된 언어 모델의 과도한 영향으로 인한 신호-언어 표현 불일치)을 해결하기 위해 제안된 다단계 프레임워크입니다. 연속 멜 스펙트로그램을 고품질 이산 표현으로 변환하는 이산 자동 인코딩, 벡터 양자화 재구성을 통해 세션 특이적 노이즈를 제거하는 고정된 공간에서의 뇌 신호 임베딩과 멜 스펙트로그램 임베딩 매핑, 그리고 사전 훈련된 Whisper 모델을 활용하여 신호 적응과 지식 보존의 균형을 맞추는 제약된 디코딩 미세 조정의 세 단계로 구성됩니다. 결과적으로, 다양한 조건에서 강건성을 보이며, 특히 BLEU-4 점수에서 3.65% 향상과 74%-89%의 디코딩 BLEU 점수를 달성합니다.
