Decoding inner speech with an end-to-end brain-to-text neural interface
Created by
Haebom
Category
Empty
저자
Yizi Zhang, Linyang He, Chaofei Fan, Tingkai Liu, Han Yu, Trung Le, Jingyuan Li, Scott Linderman, Lea Duncker, Francis R Willett, Nima Mesgarani, Liam Paninski
개요
본 논문은 마비 환자의 의사소통을 회복하기 위한 뇌-텍스트 인터페이스(BCI)에 관한 연구로, 단일 신경망을 사용하여 신경 활동을 일관된 문장으로 변환하는 종단간(end-to-end) Brain-to-Text (BIT) 프레임워크를 소개한다. 특히, cross-task, cross-species 사전 훈련된 신경 인코더를 활용하여 시도 및 상상된 음성 모두에 적용 가능하며, 오디오 대규모 언어 모델(LLM)과 통합하여 획기적인 성능 향상을 달성했다.