EgoBrain: Synergizing Minds and Eyes For Human Action Understanding
Created by
Haebom
저자
Nie Lin, Yansen Wang, Dongqi Han, Weibang Jiang, Jingyuan Li, Ryosuke Furuta, Yoichi Sato, Dongsheng Li
개요
EgoBrain은 세계 최초의 대규모 시간 정렬 다중 모달 데이터셋으로, 40명의 참가자로부터 61시간 동안 32채널 EEG 기록과 1인칭 비디오를 29가지 일상 활동에 걸쳐 동기화하여 수집되었습니다. 이 데이터셋을 이용하여 EEG와 시각 정보를 융합하는 다중 모달 학습 프레임워크를 개발하여 행동 인식 정확도 66.70%를 달성했습니다. 이는 뇌-컴퓨터 인터페이스(BCI)와 인공지능(AI)을 결합하여 인간의 인지 및 행동을 신경 신호로부터 해독하는 새로운 가능성을 제시합니다. 모든 데이터, 도구 및 획득 프로토콜은 공개되어 개방형 과학을 촉진합니다.
시사점, 한계점
•
시사점:
◦
세계 최초의 대규모 시간 정렬 다중 모달 (EEG 및 1인칭 시각 데이터) 데이터셋 제공으로 인간 중심 행동 분석에 새로운 패러다임 제시.