The One Where They Brain-Tune for Social Cognition: Multi-Modal Brain-Tuning on Friends
Created by
Haebom
Category
Empty
저자
Nico Policzer, Cameron Braunstein, Mariya Toneva
개요
오디오 모델을 뇌 활동 예측에 맞게 미세 조정(brain-tuning)하여 사회적 인지 능력을 향상시키는 연구. 특히, 사회적 처리에 중요한 영역인 상측두구(STS)를 목표로 멀티모달 오디오-비디오 모델을 개발하여 시트콤 "Friends"를 시청하는 동안의 뇌 활동을 분석했다. 그 결과, STS 및 인접 영역에 대한 뇌 정렬도가 향상되었으며, 훈련 데이터와 관련된 사회적 인지 과제 (시트콤에서의 비꼬는 말투 감지)의 성능이 개선되었다.
시사점, 한계점
•
시사점:
◦
뇌-조정(brain-tuning)을 멀티모달 영역으로 확장하여 사회적 인지 능력을 향상시킴.