MoRE-Brain은 fMRI 신호로부터 고충실도, 적응력 있고 해석 가능한 시각적 재구성을 위한 신경망 기반 프레임워크입니다. 기존 연구들이 재구성 정확도에만 집중하는 것과 달리, MoRE-Brain은 기능적으로 관련된 복셀 그룹의 fMRI 신호를 처리하는 별개의 전문가 네트워크를 가진 계층적 Mixture-of-Experts 아키텍처를 사용하여 뇌 네트워크의 특징을 모방합니다. 전문가 네트워크는 먼저 fMRI를 고정된 CLIP 공간으로 인코딩한 후, 미세 조정된 확산 모델이 새로운 이중 단계 라우팅 메커니즘을 통해 전문가 출력을 가이드하여 이미지를 합성합니다. 이를 통해 고해상도 재구성과 더불어, 각 뇌 영역이 재구성 이미지의 의미적 및 공간적 속성에 어떻게 영향을 미치는지에 대한 통찰력을 제공합니다. 핵심 전문가 네트워크를 공유하고 피험자 특이적 라우터만 조정하여 효율적인 피험자 간 일반화를 달성합니다.
