Real-time Continual Learning on Intel Loihi 2
Created by
- Haebom
Category
Empty
저자
Elvin Hajizada, Danielle Rager, Timothy Shea, Leobardo Campos-Macias, Andreas Wild, Eyke Hullermeier, Yulia Sandamirskaya, Mike Davies
개요
엣지 장치의 AI 시스템은 데이터 분포가 변하고 새로운 클래스가 등장하는 열린 세상 환경에서 적응하는 데 어려움을 겪습니다. 오프라인 학습이 지배적인 현행 패러다임이지만, 재앙적 망각 없이 비정상적인 스트림에서 점진적으로 학습하는 온라인 지속적 학습(OCL)은 전력 제한 환경에서 여전히 어렵습니다. 본 논문에서는 CLP-SNN이라는 뉴로모픽 솔루션을 제시합니다. 이는 Continually Learning Prototypes를 위한 스파이킹 신경망 아키텍처이며, Intel의 Loihi 2 칩에서 구현됩니다. CLP-SNN은 (1) 이벤트 구동형 및 시공간적으로 희소한 로컬 학습, (2) 가중치 정규화를 유지하는 자체 정규화 3요소 학습 규칙, (3) 용량 확장 및 망각 완화를 위한 통합된 신경 발생 및 메타가소성을 포함하는 세 가지 혁신을 도입합니다. OpenLORIS 소수 샷 학습 실험에서 CLP-SNN은 리플레이 방법과 경쟁하는 정확도를 달성하며, 리허설이 필요하지 않습니다. 또한, CLP-SNN은 엣지 GPU에서 최고의 OCL 대안보다 70배 빠르고(0.33ms vs 23.2ms), 5,600배 더 에너지 효율적(0.05mJ vs 281mJ)인 혁신적인 효율성 향상을 제공합니다. 이는 뇌에서 영감을 받은 알고리즘과 뉴로모픽 하드웨어가 미래의 엣지 AI 시스템에서 기존의 정확도-효율성 트레이드오프를 깰 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
CLP-SNN은 재앙적 망각 없이 지속적인 학습을 수행하는 효율적인 스파이킹 신경망 아키텍처입니다.
◦
CLP-SNN은 리플레이 방법과 경쟁하는 정확도를 달성하면서 리허설이 필요하지 않습니다.
◦
CLP-SNN은 엣지 GPU 기반 OCL 대안보다 훨씬 빠르고 에너지 효율적입니다.
◦
CLP-SNN은 뇌에서 영감을 받은 알고리즘과 뉴로모픽 하드웨어의 결합을 통해 정확도-효율성 트레이드오프를 극복할 수 있음을 보여줍니다.
•
한계점:
◦
논문에서 구체적인 한계점에 대한 언급은 없습니다.
