Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer
Created by
- Haebom
Category
Empty
저자
Roman Beliy, Amit Zalcher, Jonathan Kogman, Navve Wasserman, Michal Irani
개요
인간의 fMRI 뇌 기록에서 사람들이 본 이미지를 재구성하는 것은 인간의 뇌를 비침습적으로 관찰하는 방법이다. 확산 모델의 발전에 따라 최근 진전이 있었지만, 현재 방법들은 실제 이미지에 대한 충실성이 부족하다. 본 논문에서는 Brain Interaction Transformer (BIT)를 사용하여 기능적으로 유사한 뇌 복셀 클러스터 간의 효과적인 상호 작용을 가능하게 하는 뇌 기반 접근 방식인 "Brain-IT"를 제시한다. 이러한 기능적 클러스터는 모든 피험자가 공유하며, 뇌 내 및 뇌 간의 정보를 통합하는 구성 요소 역할을 한다. 모든 모델 구성 요소는 모든 클러스터 및 피험자가 공유하여 제한된 양의 데이터로 효율적인 학습을 가능하게 한다. 이미지 재구성을 위해 BIT는 두 가지 보완적인 국부 패치 레벨 이미지 특징을 예측한다. (i) 이미지의 정확한 의미 내용을 확산 모델로 유도하는 고수준 의미 특징 및 (ii) 이미지의 올바른 대략적인 레이아웃으로 확산 프로세스를 초기화하는 데 도움이 되는 저수준 구조 특징. BIT의 설계는 뇌 복셀 클러스터에서 국부 이미지 특징으로 직접 정보를 흐르게 한다. 이러한 원리를 통해, 본 방법은 실제 이미지를 충실하게 재구성하고 시각적으로나 표준 객관적 지표를 통해 현재 SOTA 접근 방식을 능가하는 fMRI에서 이미지 재구성을 달성한다. 또한, 새로운 피험자의 fMRI 데이터를 1시간만 사용해도 40시간 전체 기록으로 훈련된 현재 방법과 유사한 결과를 얻을 수 있다.
시사점, 한계점
•
시사점:
◦
뇌 복셀 클러스터 간의 효과적인 상호 작용을 위한 Brain Interaction Transformer (BIT) 제시.
◦
고수준 의미 특징 및 저수준 구조 특징 예측을 통해 이미지 재구성 정확도 향상.
◦
현재 SOTA 방법 대비 향상된 시각적 및 객관적 지표.
◦
새로운 피험자의 적은 양의 데이터 (1시간)로도 높은 성능 달성.
•
한계점:
◦
논문에 명시된 한계점 정보는 없음.
