MindLLM은 fMRI 신호를 텍스트로 디코딩하는 새로운 모델로, 기존 모델들의 낮은 예측 성능, 제한적인 과제 다양성, 피험자 간 일반화 성능 저하 문제를 해결하기 위해 제안되었다. fMRI 인코더와 기존의 LLM을 결합한 MindLLM은 신경과학적으로 고안된 어텐션 메커니즘을 사용하여 다양한 입력 형태의 피험자에 대한 높은 성능의 피험자 비의존적 디코딩을 달성한다. 또한, 다양한 의미 표현을 fMRI 신호에서 포착하는 능력을 향상시키는 Brain Instruction Tuning (BIT) 기법을 도입하여 더욱 다양한 디코딩을 가능하게 한다. 포괄적인 fMRI-to-text 벤치마크 평가 결과, MindLLM은 기존 모델들을 능가하여 downstream task 성능을 12.0%, unseen subject generalization 성능을 24.5%, novel task adaptation 성능을 25.0% 향상시켰으며, 어텐션 패턴을 통해 모델의 의사결정 과정을 해석할 수 있는 통찰력을 제공한다.
