본 논문은 Transformer나 GPT와 같은 기존의 기법을 사용하지 않는 새로운 대규모 언어 모델인 BriLLM(Brain-inspired Large Language Model)을 제시합니다. BriLLM은 신호 완전 연결 흐름(SiFu)을 기반으로 한 지향성 그래프 상에서 동작하며, 입력과 출력에 국한되지 않고 모델 전체 그래프의 모든 노드에 대한 해석 가능성을 제공합니다. 토큰은 그래프의 노드로 정의되며, 신호는 "최소 저항" 원칙에 따라 노드 간을 흐릅니다. 다음 토큰은 신호 흐름의 목표가 되며, 이론적으로 모델 크기가 입력 및 예측 길이와 무관하기 때문에 무한히 긴 n-gram 모델을 지원합니다. BriLLM은 인간 뇌의 인지 패턴과 유사한 재호출 활성화 및 다중 모드 지원 가능성을 제공합니다. 현재 중국어 기반의 4000개 토큰, 32차원 노드 너비, 16토큰 시퀀스 예측 능력을 가진 첫 번째 버전이 공개되었으며, GPT-1과 비슷한 성능을 보입니다.
