ZEBRA: Towards Zero-Shot Cross-Subject Generalization for Universal Brain Visual Decoding
Created by
Haebom
Category
Empty
저자
Haonan Wang, Jingyu Lu, Hongrui Li, Xiaomeng Li
개요
ZEBRA는 뇌 활동으로부터 시각적 경험을 재구성하는 제로샷 뇌 시각 디코딩 프레임워크입니다. 주체별 모델이나 미세 조정을 필요로 하는 기존 방법의 한계를 극복하기 위해, ZEBRA는 fMRI 표현을 주체 관련 및 의미 관련 구성 요소로 분해합니다. 적대적 훈련을 통해 이러한 구성 요소를 명시적으로 분리하여 주체 불변적이고 의미 관련 표현을 분리함으로써, 추가 fMRI 데이터나 재훈련 없이도 보이지 않는 주체에게 일반화될 수 있습니다.
시사점, 한계점
•
시사점:
◦
주체별 적응 없이 새로운 주체에게 일반화되는 최초의 제로샷 뇌 시각 디코딩 프레임워크입니다.
◦
fMRI 표현을 주체 관련 및 의미 관련 구성 요소로 분해하는 새로운 접근 방식을 제시합니다.
◦
제로샷 모델에 비해 상당한 성능 향상을 보이며, 완전 미세 조정된 모델과 유사한 성능을 달성합니다.
