본 논문은 뇌 활동으로부터 시각 정보를 재구성하는 연구에 대해 다룬다. fMRI를 이용하여 생성 모델을 통해 이미지를 디코딩하는 연구는 진행되었으나, 고도로 복잡한 시각 자극을 정확하게 복원하는 데 어려움이 있었다. 이는 자극의 요소 밀도와 다양성, 정교한 공간 구조, 다면적인 의미 정보 때문이다. 이러한 문제를 해결하기 위해, 본 논문에서는 두 개의 어댑터를 포함하는 HAVIR 모델을 제안한다. AutoKL 어댑터는 fMRI 복셀을 위상 구조를 포착하는 잠재 확산 사전으로 변환하고, CLIP 어댑터는 복셀을 의미 정보를 포함하는 CLIP 텍스트 및 이미지 임베딩으로 변환한다. 이러한 상보적인 표현은 Versatile Diffusion에 의해 융합되어 최종 재구성 이미지를 생성한다. 복잡한 시나리오에서 가장 중요한 의미 정보를 추출하기 위해, CLIP 어댑터는 시각 자극을 설명하는 텍스트 자막과 해당 자막으로 합성된 의미 이미지를 사용하여 훈련된다. 실험 결과는 HAVIR이 복잡한 시나리오에서도 시각 자극의 구조적 특징과 의미 정보를 효과적으로 재구성하며, 기존 모델보다 성능이 우수함을 보여준다.
