본 논문은 인공 신경망(ANN)을 이용하여 뇌 신호를 해석하고 이해하는 새로운 방법을 제시합니다. 기존의 방법들은 평균 제곱 오차(MSE)를 사용하여 뇌 신호와 실제 신호를 정렬하는데, 이는 국소적인 점별 정렬에만 집중하고 전역적인 매칭을 무시하여 뇌 신호 해독의 부정확성을 초래합니다. 본 논문에서는 최적 수송(OT)을 이용하여 이 문제를 해결합니다. OT를 이용하여 뇌 복셀 임베딩과 이미지 임베딩 간의 수송 계획을 구성함으로써 보다 정확한 매칭을 가능하게 하고, 수송량을 제어하여 불필요한 정보의 영향을 완화합니다. 뇌 신호를 이미지 대신 대규모 언어 모델(LLM)에 입력하여 뇌 캡션 생성 작업에 직접 적용하여 10가지 평가 지표에서 최첨단 성능을 달성했습니다. 단일 주체 훈련에서는 기존 최고 성능 대비 평균 6.11%, 교차 주체 훈련에서는 3.81% 향상되었습니다. 또한, 영역 마스킹 및 데이터 차원 축소 시각화 실험을 통해 뇌 정보 처리의 중복성과 시너지를 밝혀냈습니다.
