Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm
Created by
- Haebom
Category
Empty
저자
Mohammadnavid Ghader, Saeed Reza Kheradpisheh, Bahar Farahani, Mahmood Fazlali
개요
본 논문은 전통적인 역전파(BP) 알고리즘의 한계를 극복하기 위해, 스파이킹 신경망(SNN) 학습에 Forward-Forward (FF) 알고리즘을 적용하는 새로운 프레임워크를 제시합니다. FF 알고리즘은 두 번의 순전파만을 사용하여 국소적인 학습을 가능하게 하며, 연산 효율성을 높이고 뉴로모픽 하드웨어와의 호환성을 향상시킵니다. MNIST, Fashion-MNIST, CIFAR-10, Neuro-MNIST, SHD 등 다양한 데이터셋에서 실험을 진행한 결과, 기존의 FF 기반 SNN보다 MNIST와 Fashion-MNIST에서 5% 이상의 성능 향상을 보였으며, 최첨단 역전파 기반 SNN과 비교해도 경쟁력 있는 성능을 달성했습니다. 특히 CIFAR-10과 SHD와 같은 복잡한 작업에서는 최대 6%까지 성능 향상을 기록했습니다. 이는 FF 알고리즘이 역전파의 한계를 극복하고 SNN 학습 방법론과 뉴로모픽 컴퓨팅 발전에 기여할 가능성을 보여줍니다.
시사점, 한계점
•
시사점:
◦
FF 알고리즘을 이용한 SNN 학습 프레임워크가 기존 역전파 기반 SNN 및 다른 FF 기반 SNN에 비해 우수한 성능을 보임.
◦
MNIST 및 Fashion-MNIST와 같은 비교적 간단한 데이터셋 뿐 아니라 CIFAR-10 및 SHD와 같은 복잡한 데이터셋에서도 경쟁력 있는 성능을 보임.
◦
역전파 알고리즘의 단점인 연산 비효율성 및 생물학적 타당성 부족 문제를 해결하는 대안 제시.
◦
뉴로모픽 하드웨어와의 높은 호환성을 통해 에너지 효율적인 SNN 구현 가능성 제시.
•
한계점:
◦
제시된 FF 기반 SNN 프레임워크의 일반화 성능에 대한 추가적인 연구 필요.
◦
더욱 다양하고 복잡한 데이터셋에 대한 실험 및 성능 평가 필요.
◦
FF 알고리즘의 매개변수 최적화 전략에 대한 추가적인 연구 필요.
◦
실제 뉴로모픽 하드웨어 상에서의 구현 및 성능 평가 필요.
