본 논문은 자연스러운 자극을 사용하는 전통적인 심리학 실험의 수동 주석 및 생태학적 타당성의 어려움을 해결하기 위해, 다중 모달 대규모 언어 모델(LLM)을 활용한 새로운 패러다임을 제시한다. VQA(Visual Question Answering) 전략을 통해 자연스러운 이미지에서 풍부한 의미 정보를 추출하여 인간의 시각적 의미 표상을 분석한다. LLM에서 도출된 표상은 fMRI로 측정된 기존의 신경 활동 패턴(예: 얼굴, 건물)을 성공적으로 예측하여 그 타당성을 검증하고, 피질 영역 간의 계층적 의미 조직을 밝혀낸다. LLM에서 도출된 표상으로 구성된 뇌 의미 네트워크는 기능적 및 문맥적 연관성을 반영하는 의미 있는 클러스터를 식별한다. 이 혁신적인 방법론은 기존 주석 방법의 한계를 극복하고 인간 인지에 대한 생태학적으로 더 타당한 탐구의 길을 열어 자연스러운 자극을 사용하여 뇌 의미 조직을 조사하는 강력한 해결책을 제공한다.
