본 논문은 Transformer나 GPT와 같은 기존의 방식과 다른, 뇌에서 영감을 받은 대규모 언어 모델(BriLLM)을 처음으로 제시합니다. BriLLM은 신호 완전 연결 흐름(SiFu) 개념을 기반으로 한 지향성 그래프 상의 신경망으로, 입력과 출력 단에 국한되지 않고 모델 전체 그래프의 모든 노드에 대한 해석 가능성을 제공합니다. 토큰은 그래프의 노드로 정의되며, 신호는 "최소 저항" 원칙에 따라 노드 간을 흐릅니다. 다음 토큰은 신호 흐름의 목표가 됩니다. BriLLM은 모델 크기가 입력 및 예측 길이와 독립적이기 때문에 이론적으로 무한히 긴 n-gram 모델을 지원합니다. 또한, 모델의 작동 방식은 인간 뇌의 인지 패턴과 유사한 재호출 활성화 및 다중 모달 지원 가능성을 제공합니다. 현재 중국어 버전의 BriLLM (4000 토큰, 32차원 노드 너비, 16토큰 시퀀스 예측 능력)이 공개되었으며, GPT-1과 비슷한 성능을 보입니다.
