Attention via Synaptic Plasticity is All You Need: A Biologically Inspired Spiking Neuromorphic Transformer
Created by
Haebom
Category
Empty
저자
Kallol Mondal (Department of Electronics and Communication Engineering, National Institute of Technology Allahabad, Prayagraj, Centre for Nanotechnology, Indian Institute of Technology Roorkee), Ankush Kumar (Centre for Nanotechnology, Indian Institute of Technology Roorkee)
개요
본 논문은 대규모 언어 모델(LLM)의 에너지 소비 문제를 해결하기 위해, 뇌의 주의 집중 원리를 모방한 스파이킹 신경망(SNN) 기반의 새로운 트랜스포머 모델인 Spiking STDP Transformer (S$^{2}$TDPT)를 제안합니다. S$^{2}$TDPT는 스파이크 시간 의존 가소성(STDP)을 사용하여 자기 주의를 구현하며, 이를 통해 에너지 효율적이고 하드웨어 친화적인 뉴로모픽 모델을 개발했습니다. CIFAR-10 및 CIFAR-100 데이터셋에서 S$^{2}$TDPT는 우수한 성능을 보였으며, 기존 인공 신경망(ANN) 트랜스포머에 비해 에너지 소비를 현저히 줄였습니다.
시사점, 한계점
•
시사점:
◦
뇌의 생물학적 원리를 활용하여 LLM의 에너지 문제를 해결하는 새로운 접근 방식을 제시.
◦
STDP를 활용하여 자기 주의 메커니즘을 구현, 뉴로모픽 컴퓨팅에 적합한 구조를 개발.
◦
CIFAR-10 및 CIFAR-100 데이터셋에서 우수한 성능 및 에너지 효율성 입증.
◦
Grad-CAM을 통해 모델의 해석 가능성을 향상.
•
한계점:
◦
제안된 모델의 성능이 기존 ANN 트랜스포머보다 모든 측면에서 우월한지는 추가적인 연구가 필요함.
