Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Improving Multimodal Brain Encoding Model with Dynamic Subject-awareness Routing

Created by
  • Haebom

저자

Xuanhua Yin, Runkai Zhao, Weidong Cai

개요

AFIRE (Agnostic Framework for Multimodal fMRI Response Encoding)는 다양한 인코더로부터 시간 정렬된 post-fusion 토큰을 표준화하는 agnostic 인터페이스와, subject-aware dynamic gating을 갖춘 plug-and-play Mixture-of-Experts 디코더 MIND를 도입하여 자연스러운 fMRI 데이터를 처리한다. 전체 뇌 예측을 위해 end-to-end로 훈련되었으며, AFIRE는 디코더를 업스트림 퓨전에서 분리하고 MIND는 토큰 종속 Top-K sparse 라우팅과 subject prior를 결합하여 일반성을 유지하면서 전문가 사용을 개인화한다. 다양한 multimodal backbone과 subject를 대상으로 한 실험에서 강력한 baseline 대비 일관된 성능 향상, 향상된 cross-subject 일반화, 내용 유형과 관련된 해석 가능한 expert 패턴을 보여준다. 이 프레임워크는 새로운 인코더 및 데이터 세트에 대한 간단한 부착 지점을 제공하여 자연스러운 신경 영상 연구에 대한 강력하고 plug-and-improve 성능을 가능하게 한다.

시사점, 한계점

다양한 multimodal backbone 및 subject에 대한 성능 향상
Cross-subject 일반화 향상
해석 가능한 전문가 패턴 제공
새로운 인코더 및 데이터 세트에 대한 쉬운 부착 지점
자연스러운 신경 영상 연구에 대한 강력하고 plug-and-improve 성능 제공
논문 자체에 구체적인 한계점 언급 없음
👍