Dendritic Resonate-and-Fire Neuron for Effective and Efficient Long Sequence Modeling
Created by
Haebom
저자
Dehao Zhang, Malu Zhang, Shuai Wang, Jingya Wang, Wenjie Wei, Zeyu Ma, Guoqing Wang, Yang Yang, Haizhou Li
개요
Resonate-and-Fire (RF) 뉴런은 긴 시퀀스 모델링에 적합하지만, 제한된 메모리 용량과 에너지 효율성 및 학습 속도 간의 trade-off가 존재한다. 본 논문은 생물학적 뉴런의 수상돌기 구조에서 영감을 받아, 다중 수상돌기 및 체 구조를 명시적으로 통합한 Dendritic Resonate-and-Fire (D-RF) 모델을 제안한다. 각 수상돌기 가지는 RF 뉴런의 고유한 진동 역학을 활용하여 특정 주파수 대역을 인코딩하여 포괄적인 주파수 표현을 달성한다. 또한, 역사적 스파이킹 활동을 기반으로 임계값을 조정하는 적응형 임계값 메커니즘을 체 구조에 도입하여 긴 시퀀스 작업에서 훈련 효율성을 유지하면서 중복 스파이크를 줄인다.
시사점, 한계점
•
시사점:
◦
D-RF 모델은 경쟁력 있는 정확도를 유지하면서 스파이크 희소성을 확보한다.
◦
훈련 중 계산 효율성을 저해하지 않으면서 엣지 플랫폼에서 긴 시퀀스 모델링에 효과적이고 효율적인 솔루션이 될 수 있다.
