Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

BriLLM: Brain-inspired Large Language Model

Created by
  • Haebom

저자

Hai Zhao, Hongqiu Wu, Dongjie Yang, Anni Zou, Jiale Hong

개요

본 논문은 Transformer나 GPT와 같은 기존의 방식과 다른, 뇌에서 영감을 받은 대규모 언어 모델(BriLLM)을 처음으로 제시합니다. BriLLM은 신호 완전 연결 흐름(SiFu) 개념을 기반으로 한 지향성 그래프 상의 신경망으로, 입력과 출력 단에 국한되지 않고 모델 전체 그래프의 모든 노드에 대한 해석 가능성을 제공합니다. 토큰은 그래프의 노드로 정의되며, 신호는 "최소 저항" 원칙에 따라 노드 간을 흐릅니다. 다음 토큰은 신호 흐름의 목표가 됩니다. BriLLM은 모델 크기가 입력 및 예측 길이와 독립적이기 때문에 이론적으로 무한히 긴 n-gram 모델을 지원합니다. 또한, 모델의 작동 방식은 인간 뇌의 인지 패턴과 유사한 재호출 활성화 및 다중 모달 지원 가능성을 제공합니다. 현재 중국어 버전의 BriLLM (4000 토큰, 32차원 노드 너비, 16토큰 시퀀스 예측 능력)이 공개되었으며, GPT-1과 비슷한 성능을 보입니다.

시사점, 한계점

시사점:
기존 Transformer 기반 모델과 다른 새로운 아키텍처의 대규모 언어 모델 제시.
모델 전체의 해석 가능성 제공.
이론적으로 무한히 긴 n-gram 모델 지원 가능성.
인간 뇌의 인지 패턴과 유사한 작동 방식.
다중 모달 지원 가능성.
한계점:
현재 공개된 모델은 상대적으로 작은 규모(4000 토큰).
더 큰 모델을 위한 더 많은 컴퓨팅 파워 필요.
다중 모달 지원 가능성은 이론적 제시이며 실험적 검증 부족.
GPT-1 수준의 성능은 아직 초기 단계임을 시사.
👍