NeuroBridge: Bio-Inspired Self-Supervised EEG-to-Image Decoding via Cognitive Priors and Bidirectional Semantic Alignment
Created by
Haebom
Category
Empty
저자
Wenjiang Zhang, Sifeng Wang, Yuwei Su, Xinyu Li, Chen Zhang, Suyu Zhong
개요
뇌 활동 패턴에서 지각된 시각 자극을 재구성하거나 추론하는 시각 신경 디코딩은 인지력에 대한 중요한 통찰력을 제공하고, 뇌-컴퓨터 인터페이스 및 인공 지능 분야에서 혁신적인 응용을 가능하게 합니다. 본 연구에서는 인지적 사전 증강(CPA)과 공유 의미론적 프로젝터(SSP)를 통합하여 효과적인 교차 모달리티 정렬을 촉진하는 새로운 자체 감독 아키텍처인 NeuroBridge를 제안합니다. CPA는 EEG 신호와 이미지 모두에 비대칭적이고 모달리티별 변환을 적용하여 지각적 가변성을 시뮬레이션하고 의미론적 다양성을 향상시킵니다. SSP는 공진화 전략을 통해 양방향 정렬 프로세스를 설정하여 효과적인 교차 모달 학습을 위해 두 모달리티의 특징을 공유 의미론적 공간으로 상호 정렬합니다. NeuroBridge는 개인 내 및 개인 간 설정 모두에서 이전의 최첨단 방법을 능가합니다. 특히 200방향 제로샷 검색 작업에서 상위 1 정확도에서 12.3%, 상위 5 정확도에서 10.2% 향상을 달성하여 각각 63.2% 및 89.9%를 기록했습니다.
시사점, 한계점
•
시사점:
◦
NeuroBridge는 시각 신경 디코딩 분야에서 새로운 자체 감독 아키텍처를 제시하여 성능 향상을 이끌었습니다.
◦
인지적 사전 증강(CPA)과 공유 의미론적 프로젝터(SSP)를 통해 교차 모달리티 정렬의 효과를 입증했습니다.
◦
개인 내 및 개인 간 설정 모두에서 기존 방법보다 우수한 성능을 보였습니다.
◦
200방향 제로샷 검색 작업에서 높은 정확도를 달성하여 다양한 시각 자극에 대한 높은 일반화 능력을 보였습니다.
