Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction
Created by
- Haebom
Category
Empty
저자
Xu Zhang, Ruijie Quan, Wenguan Wang, Yi Yang
개요
fMRI 신호로부터 시각 자극을 재구성하는 것은 기계 학습과 신경 과학을 연결하는 중요한 과제입니다. 기존의 확산 기반 방법은 fMRI 활동을 단일 고차원 임베딩에 매핑하여 전체 생성 과정에서 고정된 지침으로 사용합니다. 하지만, 이러한 고정된 지침은 계층적 신경 정보를 통합하지 못하고 이미지 재구성의 단계별 요구 사항과 일치하지 않습니다. 본 논문에서는 규모별 자기 회귀 모델링을 기반으로 하는 MindHier라는 조밀-미세 fMRI-이미지 재구성 프레임워크를 제안합니다. MindHier는 다중 레벨 신경 임베딩을 추출하는 Hierarchical fMRI Encoder, CLIP 특징과 계층별 일치를 적용하는 Hierarchy-to-Hierarchy Alignment, 그리고 이러한 임베딩을 일치하는 규모에서 자기 회귀에 주입하는 Scale-Aware Coarse-to-Fine Neural Guidance 전략의 세 가지 구성 요소를 도입합니다. 이러한 설계는 MindHier가 확산 기반 방법의 효율적이고 인지적으로 정렬된 대안이 되도록 하여, 인간의 시각적 인지 과정과 유사하게 전역적 의미를 합성한 후 세부 사항을 개선하는 계층적 재구성 프로세스를 가능하게 합니다. NSD 데이터 세트에 대한 광범위한 실험을 통해 MindHier는 확산 기반 기준선보다 우수한 의미적 충실도, 4.67배 빠른 추론, 그리고 더 결정적인 결과를 달성했습니다.
시사점, 한계점
•
시사점:
◦
fMRI 신호 기반 이미지 재구성 분야에서 새로운 접근 방식 제시
◦
확산 기반 모델 대비 향상된 성능 (의미적 충실도, 추론 속도, 결정성)
◦
인간의 시각 인지 과정 모방한 계층적 재구성 방식 채택
•
한계점:
◦
NSD 데이터 세트에 대한 실험 결과만 제시
◦
다른 데이터 세트 및 복잡한 시각 자극에 대한 성능 검증 필요
◦
세부적인 구현 및 아키텍처 정보 부족
