본 논문은 자연 이미지를 보고 생성된 fMRI 신호를 텍스트 설명으로 직접 디코딩하는 새로운 패러다임을 제시합니다. 기존의 시각적 재구성에 초점을 맞춘 뇌 디코딩 방식과 달리, 시각적 입력 없이 학습된 딥러닝 모델을 사용하여 복잡한 장면의 핵심 의미 내용을 포착하는 의미 있는 캡션을 생성합니다. 이를 통해 고차 시각 영역(MT+, 복측 시각 피질, 하두정 피질 등)의 중요한 역할을 밝히고, 생명체 유무나 움직임과 같은 의미 차원에 대한 미묘한 신경 표현을 보여줍니다. 텍스트 기반 디코딩 접근 방식은 시각적 재구성보다 뇌의 의미 인코딩에 대한 더 직접적이고 해석 가능한 통찰력을 제공하여 복잡한 의미 처리의 신경 기반을 탐구하고 분산된 의미 네트워크에 대한 이해를 높이는 강력한 새로운 방법론을 제시합니다.
