본 논문은 언어 이해 과정에서 뇌가 소리를 처리하는 방식을 모방하기 위해 사전 훈련된 모델의 레이어를 활용하여 뇌 활동을 해독하는 방법을 연구한다. Meta의 연구를 기반으로, EEG 신호를 wav2vec2 음성 임베딩과 정렬하고, wav2vec2 및 CLIP 모델의 임베딩을 사용하여 뇌 활동과의 정렬 정도를 비교한다. 개별 레이어, 점진적 연결, 점진적 합산 세 가지 전략을 사용하여, 뇌가 언어를 소리뿐만 아니라 경험으로 이해하는 방식을 해독하는 데 기여할 수 있는 방법을 모색한다.
