본 논문은 뇌파(EEG) 신호를 음성으로 해독하기 위해 신경망을 사용하는 연구를 탐구한다. 자연 음성을 들을 때 기록된 EEG 데이터를 사용하여, 대조적인 CLIP 손실을 통해 EEG에서 파생된 임베딩을 사전 훈련된 변환기 기반 음성 모델의 임베딩과 정렬하는 모델을 훈련한다. Meta의 최첨단 EEG 디코더를 기반으로, (i) 피험자별 어텐션 레이어 (+0.15% 단어 오류율(WER) 개선), (ii) 개인화된 공간적 어텐션 (+0.45%), (iii) 어텐션을 가진 듀얼 패스 RNN (-1.87%)의 세 가지 구조적 수정을 도입한다. 세 가지 수정 중 두 가지가 성능을 향상시켜, 뇌-음성 해독과 뇌-컴퓨터 인터페이스 분야에서 개인화된 아키텍처의 가능성을 보여준다.
