# EgoBrain: Synergizing Minds and Eyes For Human Action Understanding

### 저자

Nie Lin, Yansen Wang, Dongqi Han, Weibang Jiang, Jingyuan Li, Ryosuke Furuta, Yoichi Sato, Dongsheng Li

### 개요

EgoBrain은 세계 최초의 대규모 시간 정렬 다중 모달 데이터셋으로, 40명의 참가자로부터 61시간 동안 32채널 EEG 기록과 1인칭 비디오를 29가지 일상 활동에 걸쳐 동기화하여 수집되었습니다.  이 데이터셋을 이용하여 EEG와 시각 정보를 융합하는 다중 모달 학습 프레임워크를 개발하여 행동 인식 정확도 66.70%를 달성했습니다.  이는 뇌-컴퓨터 인터페이스(BCI)와 인공지능(AI)을 결합하여 인간의 인지 및 행동을 신경 신호로부터 해독하는 새로운 가능성을 제시합니다.  모든 데이터, 도구 및 획득 프로토콜은 공개되어 개방형 과학을 촉진합니다.

### 시사점, 한계점

- **시사점:**

    - 세계 최초의 대규모 시간 정렬 다중 모달 (EEG 및 1인칭 시각 데이터) 데이터셋 제공으로 인간 중심 행동 분석에 새로운 패러다임 제시.

    - EEG와 시각 정보 융합을 통한 향상된 행동 인식 성능 (66.70%) 달성.

    - 다중 모달 뇌-컴퓨터 인터페이스를 위한 통합 프레임워크 가능성 제시.

    - 개방형 과학을 위한 데이터, 도구 및 프로토콜 공개.

- **한계점:**

    - 데이터셋의 규모가 더 커질 수 있음.

    - 다양한 환경 및 활동 유형을 더 포함하여 일반화 성능 향상 필요.

    - 행동 인식 정확도가 아직 완벽하지 않음 (66.70%).

    - 참가자 수, 활동 종류, 센서 종류 등 데이터셋 구성의 한계.

[PDF 보기](https://arxiv.org/pdf/2506.01353)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).