본 논문은 Transformer나 GPT와 같은 기존의 방식과 다른, 뇌에서 영감을 받은 대규모 언어 모델(BriLLM)을 처음으로 제시합니다. BriLLM은 유향 그래프 상의 신호 완전 연결 흐름(SiFu) 정의를 기반으로 하는 신경망이며, 입력과 출력에만 국한된 기존 모델과 달리 모델 전체 그래프의 모든 노드에 대한 해석 가능성을 제공합니다. 토큰은 그래프의 노드로 정의되며, 신호는 "최소 저항" 원칙에 따라 노드 간을 흐릅니다. 다음 토큰은 신호 흐름의 목표가 되며, 모델 크기가 입력 및 예측 길이와 무관하기 때문에 이론적으로 무한히 긴 n-gram 모델을 지원합니다. 신호 흐름은 인간 뇌의 인지 패턴과 유사한 재호출 활성화 및 다중 모드 지원 가능성을 제공합니다. 현재 중국어 버전의 BriLLM(4000개 토큰, 32차원 노드 너비, 16토큰 길이 시퀀스 예측)이 공개되었으며, GPT-1과 비슷한 성능을 보입니다.
