본 논문은 fMRI 데이터로부터 동영상을 재구성하는 새로운 프레임워크인 NEURONS를 제안합니다. 기존 방법들이 공간-시간적 역동성을 포착하는 데 어려움을 겪는 점을 해결하기 위해, 시각 시스템의 계층적 구조에서 영감을 얻어 주요 객체 분할, 개념 인식, 장면 설명, 흐릿한 비디오 재구성의 네 가지 하위 작업으로 학습을 분리합니다. 이를 통해 다양한 비디오 콘텐츠를 포착하고, 사전 훈련된 텍스트-투-비디오 확산 모델을 이용하여 강력한 조건 신호를 생성하여 비디오를 재구성합니다. 실험 결과, NEURONS는 기존 최고 성능 모델보다 비디오 일관성(26.6%)과 의미 수준 정확도(19.1%)에서 향상된 성능을 보이며, 시각 피질과의 강력한 기능적 상관관계를 보여줍니다. GitHub에 코드와 모델 가중치를 공개합니다.
