Adaptive Surrogate Gradients for Sequential Reinforcement Learning in Spiking Neural Networks
Created by
Haebom
저자
Korneel Van den Berghe, Stein Stroobants, Vijay Janapa Reddi, G. C. H. E. de Croon
개요
신경 형태 컴퓨팅 시스템의 에너지 효율적인 로봇 제어를 위해 스파이킹 신경망(SNN)을 활용하는 연구. SNN의 비미분 가능성 및 시퀀스 기반 학습의 어려움을 해결하기 위해 대리 기울기 설정을 분석하고, 특권 가이드 정책을 활용한 새로운 학습 방식을 제안. 실제 드론 위치 제어 태스크에서 기존 기법들을 능가하는 성능을 달성함.
시사점, 한계점
•
시사점:
◦
SNN 기반의 강화 학습에서 대리 기울기 설정이 학습 및 최종 성능에 큰 영향을 미침. 얕은 기울기 또는 스케줄링된 기울기가 더 좋은 성능을 보임.
◦
특권 가이드 정책을 활용한 새로운 학습 방법은 학습 과정을 부트스트랩하여 성능 향상에 기여.
