뇌가 외부 자극에 어떻게 반응하는지 이해하고 이를 해독하는 것은 신경과학 분야의 중요한 과제이다. 기존 연구가 뇌-이미지 및 뇌-언어 재구성에 집중했던 반면, 본 연구는 뇌가 인지한 음성 자극과 관련된 제스처를 재구성하는 데 목표를 둔다. 뇌, 음성, 제스처 데이터의 부족으로 인해 딥러닝 모델의 적용에 어려움이 있었지만, 본 논문은 \textbf{Dual Brain Decoding Alignment}를 사용하여 페어되지 않은 데이터로 fMRI-to-제스처 재구성 네트워크를 훈련하는 새로운 접근 방식인 \textbf{fMRI2GES}를 소개한다. 이 방법은 (i) 뇌 반응을 유발하는 관찰된 텍스트와 (ii) 제스처와 관련된 텍스트 설명을 활용한다. 3가지 양상 간의 매핑 관계를 찾기 위해 완전 지도 학습 방식으로 모델을 훈련하는 대신, fMRI-to-text 모델, 짝을 이룬 데이터를 사용한 text-to-제스처 모델 및 짝을 이루지 않은 데이터를 사용한 fMRI-to-제스처 모델을 활용하여 이중 fMRI-to-제스처 재구성 패턴을 설정한다. 그런 다음, 두 출력을 명시적으로 정렬하고 자기 지도 학습 방식으로 모델을 훈련한다. 제안된 방법이 fMRI 기록으로부터 표현적인 제스처를 직접 재구성할 수 있음을 보여주고, 피질의 다양한 ROI(Region of Interest)에서 fMRI 신호가 생성 결과에 미치는 영향도 조사한다. 전반적으로, 본 연구는 음성 동반 제스처 해독에 대한 새로운 통찰력을 제공하여 신경과학 및 인지 과학의 발전에 기여한다.
