Sign In

Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Evaluation of Forward-Only Algorithms

Created by
  • Haebom
Category
Empty

저자

Przemys{\l}aw Spyra, Witold Dzwinel

개요

본 논문은 최첨단 성능에 필수적이라고 여겨졌던 역전파(BP)의 중요성에 의문을 제기하며, 역전파 없는 방법인 Mono-Forward(MF) 알고리즘이 최적화된 BP 기반 모델보다 분류 정확도에서 일관적으로 우수함을 입증한다. MF는 최대 41% 적은 에너지 소비와 최대 34% 빠른 학습 속도와 같은 효율성 향상을 달성한다. Hinton의 Forward-Forward(FF)에서 Cascaded Forward(CaFo)를 거쳐 MF로 진화하는 과정을 분석하고, 동일한 아키텍처와 하이퍼파라미터 최적화를 사용하여 공정한 비교 프레임워크를 제공한다. 또한, BP-free 방법의 메모리 효율성을 재평가하여 실제 오버헤드가 이론적 이점을 상쇄할 수 있음을 실험적으로 보여준다. MF는 MLP에 대한 실용적이고 고성능이며 지속 가능한 BP 대안으로 제시된다.

시사점, 한계점

시사점:
역전파 없이도 우수한 성능을 달성하는 MF 알고리즘 제시
BP 기반 모델 대비 에너지 소비 및 학습 속도 향상
MLP 아키텍처에서 MF의 실용성 입증
BP-free 방법의 메모리 효율성에 대한 비판적 재평가 제공
한계점:
MLP 아키텍처에 국한된 연구
다른 딥러닝 아키텍처로의 일반화 가능성 추가 연구 필요
메모리 효율성에 대한 추가적인 분석 필요
👍