Efficient ANN-Guided Distillation: Aligning Rate-based Features of Spiking Neural Networks through Hybrid Block-wise Replacement
Created by
Haebom
Category
Empty
저자
Shu Yang, Chengting Yu, Lei Liu, Hanzhi Ma, Aili Wang, Erping Li
개요
본 논문은 인공 신경망(ANN)의 대안으로 주목받고 있는 스파이킹 신경망(SNN)의 학습 방법에 관한 연구이다. 기존 ANN 모델을 활용하여 SNN 학습을 효율적으로 수행하기 위해, ANN-to-SNN 변환과 ANN-SNN 증류 학습을 결합한 새로운 증류 프레임워크를 제안한다. 블록 단위 교체 전략을 통해 ANN의 특징 공간과 SNN의 특징 공간을 점진적으로 정렬시키는 중간 하이브리드 모델을 생성하고, 속도 기반 특징을 사용하여 속도 기반 역전파를 자연스럽게 통합한다. 실험 결과, 제안된 방법은 기존 최첨단 SNN 증류 방법과 비교하여 동등하거나 더 나은 성능을 달성하며, 학습 효율성도 향상됨을 보였다.
